阿里巴巴
智多星-模型评测（Agent / 应用方向）
智多星-模型评测（Agent / 应用方向）
发布于 3 小时前实习/见习
实习生仅现场办公数据标注与评测
数据标注与评测
Agent评测
Api调用
Prompt Engineering
大模型
数据分析
数据标注
评测方法论
值不值得投
72综合评分
综合评分 72
头部科技公司大模型Agent评测实习岗，技术前沿、成长空间大，但工作节奏可能较快。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
5千
比数据标注与评测中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3130 个在招 · 其中数据标注与评测 36 个
市场机会
选择适中
北京 · 数据标注与评测 · 26 个在招
职位详情
关于这个职位
该职位主要负责大模型Agent及应用方向的全流程评测工作，包括评测方案设计、数据集构造、结果分析及归因
你需要与算法和标注团队紧密合作，跟进评测质量并输出分析报告，帮助指导模型迭代方向
最低要求
学历专业：本科及以上在读，计算机、软件工程、人工智能、语言学、统计学、数据科学等相关专业优先，硕士优先
业务体感：重度Agent / AI应用 / cowork类产品用户，对大模型缺陷有敏锐感知
了解Agent工作原理（Tool Use、多步规划等），能看懂基础API调用链路日志和Trace信息者优先
软性素质：极度细心且有耐心，面对海量脏数据不厌烦
逻辑严密，具备极强的数据敏感度
具备良好的学习能力和跨团队合作能力
具备良好的文档输出能力
数据处理：熟悉数据处理工具和方法，具备对大规模数据进行处理和分析的能力
工作职责
评测方案设计与执行：参与Agent评测项目的全流程，包括评测方案设计、评测集构造、评测执行与结果分析，协助输出评测报告
标注规范与质检协助：参与评测标准、Rubric标准、分类标签体系撰写与迭代，搭建评测体系（如一致性校验、抽检方案等），跟进评测全流程质量，保障评测实效性和评测置信度
分析与归因：对评测中发现的模型问题进行分类归因（模型能力/评测标准/任务定义），输出结构化分析和核心指标并追踪指标变化趋势，指导模型迭代方向
项目管理与进度跟进：协助管理评测任务的排期、分发与进度监控，对接标注团队与算法团队，确保项目按时交付
策略研究与分析：参与评测方法论研究、竞品调研、数据分析等策略类工作，输出分析报告指导评测方案优化
优先资格
有Agent / AI应用 / Cowork产品相关评测、大模型数据或用户研究相关经验，了解评测方法论，熟悉人评 / 自动评测方案
熟悉Prompt Engineering，有深度使用大模型产品的习惯
有Python脚本、数据处理等技术基础
AI 洞察
优缺点分析
优点
- 深入接触大模型Agent前沿技术，积累丰富的模型评测与归因经验
- 背靠头部科技公司，能接触到海量真实业务场景和顶尖算法团队
- 需要处理海量脏数据，工作可能较为繁琐且对耐心要求极高
- 模型评测标准迭代快，需要不断学习新的评测方法论和Agent技术
- 适合对大模型和Agent技术有浓厚兴趣，细心耐心，且具备一定数据处理和逻辑分析能力的在校生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从评测执行者成长为评测方法论专家，未来可向大模型算法工程师、AI产品经理或AI数据策略专家方向发展
- 负责大模型Agent及应用方向的全流程评测，包括设计评测方案、构造评测集并执行分析
- 制定并迭代评测标准与质检体系，确保评测结果的置信度
- 对模型缺陷进行分类归因，输出结构化报告以指导模型迭代
- 需要具备扎实的计算机或语言学背景，熟悉Agent工作原理及API调用链路
- 要求极强的数据敏感度与细心度，能处理海量脏数据，并掌握Python等数据处理工具
申请策略
- 在简历或面试中展示自己作为重度AI应用用户的独特见解，分享发现的模型缺陷及改进思路，体现业务体感
- 突出对Agent/AI应用的深度使用经验，展示对大模型缺陷的敏锐感知
- 强调过往的数据处理、评测或用户研究项目经历，以及Python脚本能力
- 提前熟悉Prompt Engineering技巧，了解主流Agent框架的工作原理
- 练习阅读API调用日志和Trace信息，提升数据清洗与分析能力
面试指南
- STAR法则结合技术深度：在回答评测方案或归因问题时，先明确业务目标，再详细阐述评测集构造、指标设计和执行流程，最后说明如何通过数据验证结果
- 请分享一个你深度使用Agent产品的经历，并指出其存在的缺陷及改进建议
- 如何设计一个针对多步规划Agent的评测方案？
- 面对海量且存在噪声的评测数据，你会如何保证评测结果的一致性和置信度？
- 请解释一下你理解的Agent工作原理（如Tool Use），以及如何看懂API调用链路日志？
- 准备1-2个自己深度使用AI产品的案例，详细拆解其优缺点
- 复习大模型评测的常见方法论，并复习Python数据处理常用库
职位点评
薪资福利60
成长发展90
工作生活50
使命价值80
薪资福利
60中等
实习岗位薪资按日薪折算，符合一线城市实习生市场平均水平，能满足基本生活需求，但非正式员工薪资结构。
薪资信号未披露（AI估算：4–6.5千/月）
成长发展
90较高
岗位深入大模型Agent评测核心环节，能接触前沿AI技术和顶尖算法团队，技术成长与业务体感提升空间极大。
技术前沿前沿/新兴技术
技术栈Agent、大模型、Prompt Engineering、Python、API调用、Trace信息
业务类型ambiguous
工作生活
50较低
JD未明确提及工作模式与加班情况，但作为核心AI团队的实习岗，工作节奏可能较快，需做好应对高强度工作的心理准备。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与大模型Agent的评测与迭代，直接推动人工智能技术的落地与优化，具有较高的技术使命感与行业前景。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs