
阿里巴巴
AI评测产品实习生(通用Agent方向)
AI评测产品实习生(通用Agent方向)
发布于 1 小时前实习/见习
实习生仅现场办公数据标注与评测
数据标注与评测
Ai Agent
Ai评测
Sql
大语言模型
数据分析
评测数据集
值不值得投
68综合评分
综合评分 68
前沿AI评测实习,成长性强,薪资福利与WLB信息未披露
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便比较实习机会。
薪资怎么样
1.0千
比数据标注与评测中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 5160 个在招 · 其中数据标注与评测 62 个
市场机会
选择面较广
北京 · 数据标注与评测 · 54 个在招
职位详情
关于这个职位
这是一个面向通用Agent方向的AI评测产品实习岗位,主要参与大语言模型和AI Agent应用的评测体系建设、数据集构建、结果标注与质量审核
你将使用评测平台执行任务、分析模型输出和执行轨迹,并协助产品、运营、研发优化评测流程和数据看板,同时跟踪外部benchmark与行业评测进展
最低要求
本科及以上在校生,计算机、数据科学、统计、数学、语言学等相关专业优先
对大语言模型、AI Agent应用和产品评测有高度兴趣,有对话、推理或Agent任务相关实践
具备良好的业务理解、逻辑思维和数据分析能力,能够理解任务目标、核对回答依据并识别逻辑或执行问题
熟练使用Excel及Codex/Claude/Hermes等主流AI Agent工具辅助完成数据整理、多表关联查询和聚合统计,并核验结果
具备SQL或Python基础者加分
具备信息检索、资料阅读和书面表达能力,能够查阅中英文公开资料,筛选有效信息、标明来源并归纳要点,形成清晰的LLM调研或评测小结
工作细致、责任心强,能够依据评测规则进行标注与结果核对,及时反馈疑难样本和规则歧义
具备良好的学习和沟通能力,能够在指导下完成任务
工作职责
评测体系建设:参与大语言模型及AI Agent应用的评估体系建设,协助完善评测标准、流程及评分器,构建评测数据集,整理参考答案及评分依据,参与结果标注与质量审核,支持评估结论及时准确产出
评测结果分析:使用评测平台执行任务,维护数据集与任务版本信息,整理模型及AI产品的输入输出、对话记录和Agent执行轨迹,完成基础数据查询、统计与版本对比,归类错误原因,参与评测分析报告撰写
评测流程优化:协助优化文本、对话及Agent任务数据的整理、标注和评测流程,维护操作说明与问题记录,与产品、运营、研发协作推进评测平台功能优化及数据看板建设
行业方案研究:调研并持续跟踪外部公开benchmark,以及大语言模型和Agent领域的新产品、新方法和评测进展,围绕指定业务场景筛选有价值的信息,整理评测维度、数据特点、适用场景及使用限制,输出简明调研报告
优先资格
具备SQL或Python基础者加分
AI 洞察
优缺点分析
优点
- 直接参与大模型和AI Agent评测,能接触LLM产品落地中非常核心的质量评估环节
- 工作内容覆盖数据集、评分器、结果分析、平台优化和行业调研,成长面较完整
- 能与产品、运营、研发协作,理解AI产品从评测到迭代的实际流程
- 对后续申请AI产品、数据评测、Agent应用方向岗位有较强实践背书
- 评测工作要求细致和稳定输出,大量标注、核对、版本维护可能比较繁琐
- Agent评测涉及执行轨迹和复杂任务分析,初期可能需要较快学习新工具和新方法
- 适合本科及以上在校生,尤其是对大模型、Agent应用、数据评测和产品迭代有兴趣,愿意做细致分析和规则核对的求职者
缺点 / 挑战
- 需要同时理解模型表现、业务场景和评分规则,对逻辑判断和沟通能力要求较高
角色解读
- 从评测执行、标注审核和数据整理入手,逐步成长为能独立设计评测维度和评分标准的AI评测产品人员
- 后续可向AI产品经理、模型评测专家、数据质量与策略运营、Agent产品运营等方向发展
- 对有技术基础的人,也可以进一步转向模型效果优化、数据构建、AI应用质量治理等更专业的岗位
- 参与大模型和AI Agent评测体系搭建,包括评测标准、评分器、数据集、参考答案和评分依据的整理与完善
- 使用评测平台执行任务,维护数据集和任务版本,整理模型输入输出、对话记录与Agent执行轨迹,并做基础统计和版本对比
- 对错误结果进行归类和质量审核,协助撰写评测分析报告,并把问题反馈给产品、运营和研发团队
- 跟踪外部公开benchmark和Agent领域新方法,围绕业务场景整理评测维度、数据特点和适用限制,输出调研小结
- 需要对大语言模型、AI Agent应用和产品评测有兴趣,理解对话、推理和Agent任务的基本逻辑
- 需要较强的逻辑思维、业务理解和数据分析能力,能核对答案依据并识别执行或推理问题
- 需要熟练使用Excel,以及Codex、Claude、Hermes等AI Agent工具完成数据整理、关联查询和聚合统计
- 需要中英文资料检索、阅读归纳和书面表达能力,SQL或Python基础会形成加分
申请策略
- 申请时尽量说明自己对AI产品评测的理解,而不只是表达对大模型的兴趣
- 可提前了解公开benchmark和Agent评测方法,面试中结合具体场景说明如何设计评测维度
- 突出与LLM、Agent、对话系统或推理任务相关的课程项目、实习、竞赛或个人实践
- 写明使用Excel进行数据整理、多表关联、聚合统计和结果核验的具体案例
- 展示SQL、Python或AI Agent工具使用经验,如Codex、Claude、Hermes等,并说明解决了什么问题
- 强调中英文资料检索、调研报告撰写、规则归纳和质量审核经历
- 提前熟悉常见LLM评测维度,如准确性、事实性、推理能力、工具调用、任务完成度和安全性
- 练习用Excel、SQL或Python完成数据清洗、关联查询、分组统计和版本对比
面试指南
- 先说明任务目标和评测标准,再讲具体执行步骤,最后给出结果沉淀方式,体现结构化思维
- 对问题分析类问题,可按“现象—依据—可能原因—验证方法—记录反馈”的框架回答
- 对工具和数据类问题,使用具体项目案例说明输入数据、处理方法、核验方式和最终产出
- 你如何理解大语言模型或AI Agent产品的评测?评测和普通标注有什么区别?
- 如果模型回答看起来合理但依据不充分,你会如何判断和记录问题?
- 请举例说明你如何使用Excel、SQL或Python进行数据整理和统计分析
- 面对一个Agent任务执行失败,你会从哪些环节排查原因?
- 你如何跟踪和阅读中英文公开资料,并形成一份简明调研结论?
职位点评
薪资福利62
成长发展86
工作生活45
使命价值70
薪资福利
62中等
JD未披露薪资和福利信息,因此补偿性动机只能基于岗位性质作有限判断。作为实习岗位,其主要价值更偏向实践经历而非薪资福利确定性。
薪资信号未披露(AI估算:0.2–0.3千/月)
成长发展
86较高
岗位直接围绕大语言模型、AI Agent评测体系、评测平台、数据集和行业benchmark展开,能快速积累AI产品评测与数据质量分析经验。JD还提到与产品、运营、研发协作,有助于理解AI产品迭代流程。
技术前沿前沿/新兴技术
技术栈大语言模型、AI Agent、评测平台、评测数据集、benchmark、Codex、Claude、Hermes、SQL、Python
业务类型ambiguous
工作生活
45较低
JD未明确说明办公模式、弹性安排、远程天数或加班情况,生活化动机满足程度无法确认。工作地点明确为北京,但未披露通勤或WLB相关安排。
工作模式未明确
办公地点未明确
加班情况未提及(无法判断)
使命价值
70中等
岗位聚焦AI Agent和大语言模型评测,处于AI应用落地的重要质量保障环节,具有一定行业前沿价值。但JD未明确表达社会使命或公共价值导向,意义感主要来自技术方向和产品质量改进。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
AI评测分析师—人工智能研究院
三一集团 · 北京市
AI 估算 · 1.8–3.0万1 天前发布
数据产品实习生(地图事业部)-MJ020811
滴滴出行 · 北京市
AI 估算 · 0.1–0.3千2 天前发布
资源工程师(J14925)
科大讯飞 · 合肥市
AI 估算 · 8.0千–1.2万7 天前发布
数据标注实习生【日语】
声网 · 上海市
AI 估算 · 4.0–6.0千8 天前发布
多模态数据算法工程师(J106286)
百度 · 北京市
AI 估算 · 2.0–3.5万9 天前发布
AI评测分析师
三一集团 · 北京市
AI 估算 · 1.5–2.5万9 天前发布
音频美学实习生-【可灵AI专项】
快手 · 北京市
AI 估算 · 0.2–0.3千13 天前发布
Watch Jobs