阿里巴巴
千问办公-AI评测工程师
千问办公-AI评测工程师
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai Coding
Llm
Prompt Engineering
Rlhf
Sft
Sql
数据评测
值不值得投
81综合评分
综合评分 81
阿里通义千问核心校招岗，前沿大模型技术栈，业务成长空间大，薪资竞争力强。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较职业起点。
薪资怎么样
2.8万
与数据标注与评测中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3480 个在招 · 其中数据标注与评测 46 个
市场机会
选择适中
杭州 · 数据标注与评测 · 45 个在招
职位详情
关于这个职位
该职位主要负责阿里千问办公大模型在B端业务场景下的评测工作，包括构建高质量评测集、执行评测任务并输出质量报告
你需要深入理解电商、门店管理等业务场景，与产品和算法团队协作，推动大模型能力的持续优化
最低要求
本科及以上学历在读或应届毕业生，计算机科学、人工智能、数据科学、统计学、电子商务、数字经济等相关专业优先
具备较好的编程能力（Python、JAVA、SQL），能编写脚本处理数据和自动化评测流程，有 AI Coding 经验者优先
熟悉 LLM 和智能体构建基本原理，包括但不限于 SFT、RLHF、Prompt Engineering、Data Synthesis 等
具备独立解决问题的能力，善于沟通、勤于思考、乐于合作、善于总结分享，有强烈的责任心和团队合作精神
工作职责
结合业界最佳实践与 B 端业务场景，通过专家设计和数据合成等手段，动态构建高质量评测集
负责评测任务的调度与执行监控，对评测结果进行审核与标注，输出质量报告，推动问题闭环
深入理解高频业务场景（电商、门店管理、资讯情报、数据分析等），针对性地构建专项评测集，设计可量化的评测标准
与产品、算法团队紧密协作，将评测中发现的问题和模式转化为优化方向，推动评测流程的持续改进
优先资格
有 AI Coding 经验者优先
AI 洞察
优缺点分析
优点
- 参与阿里通义千问核心大模型项目，接触前沿LLM技术与真实B端业务场景
- 平台大，能积累丰富的大模型评测与优化经验
- 需要深入理解多个复杂的B端业务场景，对业务理解能力要求高
- 大模型评测标准仍在快速演进，需要持续学习和探索
- 适合对大模型技术有热情、具备扎实编程基础且对业务场景有敏锐洞察力的应届计算机或AI相关专业毕业生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从AI评测工程师向大模型算法工程师、AI产品经理或大模型业务专家方向发展
- 深入理解大模型落地应用，成为B端AI商业化核心人才
- 负责大模型在B端场景（如电商、门店管理等）的评测集构建与质量把控
- 执行评测任务并输出分析报告，推动算法优化
- 掌握Python/Java/SQL等编程语言，能进行数据处理与自动化脚本编写
- 熟悉LLM原理及SFT、RLHF、Prompt Engineering等技术
申请策略
- 了解阿里通义千问在B端（如电商、钉钉办公等）的实际落地产品，面试时结合具体场景提出评测思路
- 突出Python/SQL等编程能力及自动化脚本编写经验
- 展示对LLM、Prompt Engineering的理解或相关项目/论文经历
- 深入学习大模型微调（SFT/RLHF）原理，尝试使用开源模型进行简单的评测集构建与Prompt调优
面试指南
- 采用STAR法则回答项目经验
- 对于评测集构建，从业务场景分析、指标设计、数据合成、质量校验四个维度展开
- 对于模型优化，从Bad Case分析、归因、反馈算法团队的闭环流程进行阐述
- 如何针对电商或门店管理场景构建大模型评测集？
- 请解释SFT和RLHF的区别及其在模型优化中的作用
- 如果评测结果显示模型在某个特定任务上表现不佳，你会如何排查问题并推动优化？
- 如何使用Python编写自动化脚本来处理评测数据？
- 复习大模型基础理论（Transformer、Attention、微调方法等）
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
阿里校招AI岗位薪资具有较强竞争力，福利体系完善，但具体薪资因个人评级而异。
薪资信号未披露（AI估算：2千–3.5万/月）
成长发展
90较高
处于大模型核心技术团队，接触前沿LLM技术与真实业务场景，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈Python、JAVA、SQL、LLM、SFT、RLHF、Prompt Engineering、Data Synthesis
业务类型ambiguous
工作生活
60中等
JD未明确提及办公模式与WLB政策，结合岗位性质需做好一定的工作强度准备。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与通用大模型在B端的落地，推动AI技术赋能千行百业，具有较高的行业价值与社会意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs