阿里巴巴
智多星-大模型评测-work方向
智多星-大模型评测-work方向
发布于 1 小时前实习/见习
实习生仅现场办公数据标注与评测
数据标注与评测
Agent评测
Llm-As-Judge
Nlp
Prompt Engineering
Rubric设计
大模型评测
数据标注
值不值得投
72综合评分
综合评分 72
阿里大模型前沿评测实习岗，技术成长空间大，接触跨行业AI落地场景，薪资为常规实习水平。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
6千
比数据标注与评测中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3200 个在招 · 其中数据标注与评测 39 个
市场机会
选择适中
杭州 · 数据标注与评测 · 36 个在招
职位详情
关于这个职位
该职位主要负责大模型在真实职业场景下的Agent评测任务设计、评分标准制定及模型能力分析
你需要与行业专家对接，梳理领域知识，并执行对抗自检等质量保障流程，确保评测的客观性与深度
最低要求
本科大三以上在校生
需具备以下至少一项专业或背景：统计学、计算机科学、设计、金融、半导体、建筑、工程、市场营销、设计/艺术/美学、传媒/影视、游戏、经济学/管理学、商业分析/数据分析、能源等
对大模型能力边界有基本认知，了解 prompt engineering、LLM-as-judge 等概念者优先
熟悉数据标注、评测、考试命题经验者优先
工作职责
参与评测任务设计：基于真实职业场景，为指定领域设计端到端的 Agent 评测题（含任务描述、源文件构造、标准交付物产出），确保任务具备场景 OOD 性与能力组合深度
撰写与维护评分 Rubric：按照国际通用评测规范，将专家判断拆解为可独立证伪的原子化评分标准，设计正向加分项与负向护栏项，保障评分的区分度与评分者间一致性
执行模型评分与数据分析：分析模型在不同领域、不同任务复杂度下的得分分布，定位能力短板，输出结构化分析报告
参与 OOD 保障流程：执行对抗自检（裸跑测试）、变体自检等质量保障环节，确保评测题不落入模型训练分布
协助领域知识梳理：与行业专家对接，整理特定领域的典型工作流、源文件类型、交付物规范与专业能力维度
优先资格
有 NLP/LLM 评测相关项目经验（如参与过 benchmark 构建、论文复现）
熟悉 GDPval、APEX 等主流评测体系的设计理念
有特定行业实习经验（投行、律所、咨询公司、会计师事务所等）
英语读写流利，能阅读英文评测论文与技术文档
AI 洞察
优缺点分析
优点
- 深入接触大模型前沿技术，了解Agent和LLM的能力边界
- 积累跨行业领域知识，提升对AI落地的业务理解
- 阿里大平台提供丰富的技术资源和行业专家对接机会
- 需要快速学习多个不同领域的专业知识（如金融、法律等），学习曲线较陡
- 评测标准的设计需要极高的严谨性和逻辑性，工作较为繁琐细致
- 适合对大模型技术充满热情、具备较强跨学科学习能力和严谨逻辑思维的在校生或应届毕业生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从评测执行者成长为大模型评测专家，深入理解大模型能力边界与行业应用落地
- 未来可向AI产品经理、大模型算法工程师或行业解决方案专家转型
- 设计大模型在真实场景下的Agent评测任务，制定评分标准（Rubric）
- 分析模型得分分布，定位能力短板并输出报告
- 执行对抗自检，确保评测集不泄露
- 具备跨学科的专业背景知识（如金融、法律、计算机等）
- 了解大模型能力边界及Prompt Engineering、LLM-as-judge等概念
- 具备数据分析与结构化报告撰写能力
申请策略
- 在简历或面试中展示你对某个特定垂直领域（如金融、法律）的深刻理解，以及如何将该领域知识转化为评测任务
- 突出跨学科的专业背景或相关行业的实习经验
- 展示对大模型、Prompt Engineering的理解或相关项目经历
- 强调数据分析、逻辑拆解和报告撰写能力
- 提前了解主流大模型评测体系（如GDPval、APEX）和LLM-as-judge机制
- 熟悉Agent的工作流和常见评测基准（Benchmark）
面试指南
- STAR法则：情境-任务-行动-结果
- 在回答评测设计问题时，重点突出“原子化拆解”、“正向加分与负向护栏”的设计逻辑，以及如何通过数据验证评分区分度
- 请分享一个你设计过的复杂评测任务或考试命题，你是如何保证评分一致性的？
- 你如何理解大模型的能力边界？在评测中如何防止数据泄露（OOD保障）？
- 如果让你为金融/法律领域设计一个Agent评测任务，你会如何设计任务描述和评分Rubric？
- 你如何看待LLM-as-judge的优缺点？
- 准备1-2个自己主导或深度参与的数据标注/评测/命题项目案例
- 复习大模型评测相关的经典论文和主流Benchmark的设计理念
职位点评
薪资福利60
成长发展90
工作生活50
使命价值80
薪资福利
60中等
作为实习生岗位，薪资按日薪折算，处于市场常规实习津贴水平，主要价值在于大厂平台背书。
薪资信号未披露（AI估算：4–7千/月）
成长发展
90较高
岗位直接参与大模型Agent评测，接触前沿AI技术和跨行业知识，技术成长与视野拓展空间极大。
技术前沿前沿/新兴技术
技术栈大模型、Agent、Prompt Engineering、LLM-as-judge、NLP、OOD
业务类型ambiguous
工作生活
50较低
JD未明确说明工作模式与加班情况，作为核心AI团队的实习岗，工作节奏可能较快。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与大模型能力边界的探索与评测，直接推动AI技术在真实职业场景中的落地与优化，具有较高的技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs