阿里巴巴
AI评测工程师
AI评测工程师
发布于 大约 4 小时前普通员工/个人贡献者
杭州市
专家级经验
全职员工
仅现场办公
博士
人工智能
Llm
Llm-As-A-Judge
Nlp
Pytorch
Rlhf
Tensorflow
机器学习
AI 估算 · 40k–70k
职位详情
关于这个职位
作为阿里巴巴的大模型评测研发工程师，你将负责构建和优化大模型评测体系，包括通用Benchmark和业务领域Benchmark
你将研究前沿评测方法，如LLM-as-a-Judge，并推动评测平台化落地，以精准衡量模型能力，驱动模型迭代
该职位要求博士学历，并具备扎实的机器学习和Python功底
最低要求
计算机、数学相关专业，博士及以上学历
熟练掌握 Python，扎实的数据结构、机器学习功底
熟悉 transformers、PyTorch/TensorFlow，有大规模数据处理经验
工作职责
通用 Benchmark 研发：
持续迭代覆盖语言理解、推理、知识、幻觉、对齐、代码、多模态、Agent 等各个维度的自动化评测框架
研究并实现更贴合业务发展的评测方法与指标，构建高效、可扩展、可复现、可解释的评测引擎
业务领域 Benchmark 构建与评测：
深入跨境多个垂直业务领域，构建领域Benchmark，真实反馈模型业务表现
设计场景化评估方案，如RAG、Agent、COT、 In-Context Learning等，并形成端到端评测能力
评测方法研究：
探索基于 LLM-as-a-Judge、人类偏好对齐、模型解释性等前沿评测技术
跟踪 ACL / EMNLP / NeurIPS / ICML / ICLR 等会议，高效复现SOTA方法，形成可比对可参考的评估系统
优先资格
在 NeurIPS/ICLR/ACL 等顶会以一作发表评测相关论文
主导过公开Benchmark的设计与维护
有大模型微调、RLHF实践经验
AI 洞察
优缺点分析
优点
- 处于AI前沿领域，接触最新的大模型技术
- 博士学历要求，团队整体水平高，利于技术交流
- 工作强度大，需要持续跟踪学术前沿，快速迭代
- 评测体系构建复杂，需要跨团队协作
缺点 / 挑战
- 阿里巴巴平台资源丰富，数据规模大，挑战性强
- 对数学和算法功底要求高，压力较大
- 适合对AI评测有浓厚兴趣，具备博士学历和扎实算法功底，追求技术挑战的求职者
角色解读
- 从评测工程师成长为评测专家，主导评测体系设计
- 向大模型研发方向转型，深入模型训练和优化
- 晋升为技术管理岗位，带领评测团队
- 设计和开发大模型评测框架，覆盖语言理解、推理、多模态等多个维度
- 构建业务领域Benchmark，评估模型在真实场景中的表现
- 研究前沿评测方法，如LLM-as-a-Judge，并复现顶会SOTA方法
- 扎实的Python编程能力和机器学习基础
- 熟悉深度学习框架PyTorch或TensorFlow，以及transformers库
- 具备大规模数据处理经验，了解大模型微调和RLHF
申请策略
- 关注阿里巴巴AI Labs的动态，了解团队研究方向
- 准备项目案例，展示解决复杂问题的能力
- 突出博士期间的研究方向，特别是与评测相关的论文
- 强调大模型项目经验，如微调、RLHF等
- 展示Python和深度学习框架的熟练度，以及大规模数据处理能力
- 补充LLM评测相关知识，了解主流Benchmark
- 熟悉顶会论文，掌握最新评测方法
- 提升工程能力，学习平台化开发
面试指南
- 使用STAR法则回答项目经验，突出个人贡献和成果
- 结合具体案例，展示评测设计思路和权衡
- 体现对前沿技术的关注和思考
- 请介绍你参与过的大模型评测项目
- 如何设计一个针对特定业务的评测方案？
- 谈谈你对LLM-as-a-Judge的理解和实现
- 如何保证评测结果的可复现性和可解释性？
- 你如何看待当前大模型评测的挑战？
职位点评
77
综合评分
阿里大模型评测岗，技术前沿，薪资优厚，但工作强度大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、愿意投入高强度工作的博士人才。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展95
工作生活50
使命价值70
薪资福利
80较高
阿里巴巴提供有竞争力的薪资和福利，但具体薪资未在JD中披露，整体补偿性较好。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
95较高
该职位处于AI前沿，涉及最新评测技术，成长空间大，且要求博士学历，技术深度高。
技术前沿前沿/新兴技术
技术栈LLM、Benchmark、LLM-as-a-Judge、RLHF、PyTorch、TensorFlow
业务类型profit_center
工作生活
50较低
工作地点在杭州，但未提及弹性工作，互联网公司通常加班较多，生活平衡一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
AI评测对模型发展有重要价值，但社会影响力间接，行业处于高速增长期。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs