阿里巴巴
AI推理平台-大模型工程链路测试开发专家/高级工程师-北京/杭州
AI推理平台-大模型工程链路测试开发专家/高级工程师-北京/杭州
发布于 1 天前普通员工/个人贡献者
全职员工混合式弹性办公测试开发
测试开发
CI/CD
Junit
Mlops
Pytest
大模型测试
数据驱动
自动化评测
值不值得投
83综合评分
综合评分 83
大厂核心AI链路、前沿技术驱动、成长空间大，WLB待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.0万
比测试开发中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 3620 个在招 · 其中测试开发 38 个
市场机会
选择面较广
杭州 · 测试开发 · 约 110 个在招
职位详情
关于这个职位
负责大模型训练、推理、评测与部署全链路的质量保障体系建设，设计自动化评测框架并构建高质量数据集
推动CI/CD流程落地，主导Bad Case分析闭环，协同算法与工程团队持续优化模型性能与迭代稳定性，确保AI产品高质量交付
最低要求
计算机或相关专业硕士及以上学历，3年以上测试开发或质量保障经验，有大模型/AIGC项目经验者优先
精通Python/Java至少一种语言，熟悉主流测试框架（如PyTest、JUnit）及自动化工具链
熟悉大模型基本原理（如Transformer、Prompt Engineering、RLHF等），了解训练/推理/部署流程
具备数据驱动思维，能设计量化指标并基于数据驱动模型迭代与质量改进
具备良好的跨团队协作能力，能与算法、工程、产品高效对齐目标与方案
工作职责
负责大模型训练、推理、评测、部署等核心链路的质量保障体系建设
设计并实现自动化评测框架，支持多维度（如准确性、一致性、安全性、推理速度等）的模型能力评估
构建高质量、可扩展的评测数据集，制定科学、可量化的评测标准与指标体系
推动CI/CD流程在大模型工程中的落地，保障模型迭代的稳定性与可回溯性
主导Bad Case分析闭环机制，联动算法、工程与业务团队优化模型表现
优先资格
有大模型自动化评测、COT（Chain-of-Thought）评测、对抗性测试等实践经验
参与过模型评测标准制定、开源评测基准（如HELM、MMLU）适配或自研评测体系构建
熟悉MLOps平台，有大模型CI/CD流水线建设经验
AI 洞察
优缺点分析
优点
- 聚焦大模型核心链路，接触前沿AI技术与头部公司真实业务场景
- 技术栈高度契合当前AI工程化趋势，个人市场竞争力强
- 依托大厂平台资源，可获得完善的工具链支持与跨团队协同机会
- 大模型评测标准仍在快速演进中，需持续跟进学术与工业界最新成果
- 跨团队协作频繁，需平衡多方诉求并推动技术方案落地
- 模型迭代速度快，对自动化测试覆盖率与CI/CD稳定性要求极高
- 适合具备扎实测试开发基础、对AI技术有浓厚兴趣且擅长数据驱动与跨团队协同的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 向大模型质量架构师或测试技术专家方向发展，主导复杂AI系统的测试策略与平台建设
- 转型为AI工程化负责人或MLOps平台负责人，统筹模型研发效能与交付质量
- 积累行业标杆经验后，可向AI产品经理或技术管理岗位拓展
- 搭建大模型全链路（训练/推理/评测/部署）的质量保障体系与自动化测试框架
- 设计多维度评估指标与数据集，通过数据驱动手段持续优化模型性能与输出质量
- 推动CI/CD流水线落地，主导Bad Case分析闭环，协同算法与工程团队提升迭代效率
- 精通Python或Java编程，熟练掌握PyTest/JUnit等主流测试框架及自动化工具链
- 深入理解大模型原理（Transformer/RLHF等）及MLOps/CI/CD工程化流程
- 具备扎实的数据分析与量化建模能力，能独立设计评测标准与指标体系
- 优秀的跨部门沟通协作能力，能有效对齐算法、工程与业务目标
申请策略
- 关注阿里达摩院或通义实验室的最新技术动态，面试时可结合其开源基准提出见解
- 准备1-2个完整的AI项目质量保障案例，重点说明如何从0到1搭建评测体系
- 突出大模型/AIGC相关项目经验，量化展示测试框架设计与自动化覆盖率提升成果
- 强调Python/Java编程能力及PyTest/JUnit等工具链的实际应用案例
- 体现数据驱动思维，列举通过指标设计或Bad Case分析直接优化模型效果的实例
- 系统学习Transformer架构、Prompt Engineering及RLHF等核心概念
- 掌握MLOps工具链（如MLflow、Kubeflow）及CI/CD流水线设计实践
- 补充对抗性测试、COT评测等前沿测试方法论
面试指南
- 采用STAR法则结构化回答，重点突出背景挑战、技术方案选型依据、实施过程及最终量化结果
- 针对技术问题，先阐述核心原理，再结合具体工具链说明落地细节，最后总结可复用的方法论
- 对于跨团队协同问题，强调沟通机制设计、利益对齐策略及冲突解决路径
- 请分享你设计过的一个自动化测试框架，它是如何支撑大规模模型迭代的？
- 面对大模型输出的不确定性，你会如何设计量化评测指标？
- 在Bad Case分析中，你是如何定位问题根源并推动算法团队修复的？
- 如何保证大模型CI/CD流水线的稳定性与可回溯性？
- 复习大模型基础理论及主流评测基准（HELM/MMLU）的设计逻辑
职位点评
薪资福利85
成长发展90
工作生活70
使命价值80
薪资福利
85较高
作为已上市互联网巨头，该岗位提供具有市场竞争力的薪酬包与完善福利体系，虽JD未明确具体数字，但大厂资深技术岗待遇通常处于行业前列。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
90较高
岗位深度绑定大模型前沿技术，提供接触行业顶尖AI工程化项目的机会，技术成长空间广阔。
技术前沿前沿/新兴技术
技术栈Python、Java、PyTest、JUnit、Transformer、Prompt Engineering、RLHF、CI/CD、MLOps、大模型评测
业务类型ambiguous
工作生活
70中等
JD未明确说明办公模式与工时安排，互联网大厂技术岗通常节奏较快，但头部企业一般提供一定的弹性办公政策。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于构建大模型质量保障体系，推动AI技术安全、可靠落地，具有较高的行业价值与社会意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs