阿里巴巴
AI推理平台-大模型评测工程师/专家-北京/杭州
AI推理平台-大模型评测工程师/专家-北京/杭州
发布于 大约 15 小时前普通员工/个人贡献者
杭州市 / 北京市
高级经验
全职员工
仅现场办公
硕士
人工智能
Ab测试
大模型评测
数据标注
机器学习
统计学
自动化测试
AI 估算 · 30k–60k
职位详情
关于这个职位
作为阿里巴巴AI推理平台的大模型评测工程师，你将主导大模型及AI应用的效果评估全流程，构建多维评测体系，设计对抗性测试，推动效果回归与用户体验闭环，并开发自动化评测工具
该职位要求扎实的机器学习理论基础和优秀的编程能力，适合对AI质量保障充满热情的技术专家
最低要求
学历与理论基础：计算机科学、人工智能、统计学或相关专业硕士及以上学历，具备扎实的机器学习/深度学习理论基础，熟悉常见的模型评价指标（如F1-Score、PPL、METEOR、BERTScore等）及其适用场景
编程与工程实现能力：熟练掌握Python/C++等编程语言，具有良好的代码规范与工程落地能力
熟悉Linux开发环境，能够利用Numpy、Pandas、Scipy等工具进行高效的评测数据处理与可视化分析
评测分析与问题定位能力：具备敏锐的数据敏感度和严谨的统计学思维，熟练掌握假设检验、方差分析等数理统计方法
面对Bad Case时，具备优秀的逆向分析能力，能够准确定位精度损失的数据源头（数据偏移、模型过拟合、推理逻辑错误等）
工具链与数据库操作：熟悉Redis、MySQL等数据库的基础操作，能够熟练使用Tensorboard、Weights & Biases等实验跟踪工具，具备利用Docker或脚本构建可复现评测环境的能力
软素质要求：对产品质量与用户体验有极致的追求，注重细节
具备优秀的沟通能力和跨部门协作能力，能够清晰地向算法研发团队阐述评测结论与优化建议
AI实践经验：熟悉大模型的应用开发或效果调优，有过针对具体垂直领域构建评测集的实际经验
工作职责
负责AI产品核心效果评估与精度度量：主导大模型及AI应用在业务场景下的效果评测全流程，包括构建多维度评测指标体系（如准确率、召回率、幻觉率、Rouge/BLEU及任务完成率），制定严谨的AB实验方案，并对评测数据进行深度统计与归因分析
构建对抗性评测与稳定性验证体系：设计并执行覆盖边界Case、长尾分布及恶意攻击的测试用例，系统性评估模型在复杂场景下的鲁棒性、安全性与语义稳定性，输出可量化的风险评估报告
推动效果回归与用户体验闭环：建立版本迭代的效果回归基线，利用自动化工具持续监控模型更新带来的精度波动
同时建立“线上数据回流-线下标注验证-模型优化”的闭环机制，推动产品体验的持续优化
设计自动化评测工具与数据飞轮：开发或集成AI自动化评测脚本（如基于API的批量推理、断言校验），建设数据标注与结果分析平台，提升效果评估的效率和可复现性
主导评测数据集的构建与管理，确保数据分布的合理性与标注一致性
优先资格
有AI模型效果调优、指令微调（SFT）或强化学习（RLHF）中对Reward Model效果评估的经验
发表过关于模型评估、基准测试（Benchmark）或测试数据增强（Data Augmentation）相关的学术论文
主导或深度参与过大型AI模型的大规模效果对齐（Alignment）或红蓝对抗（Red Teaming）评估项目
AI 洞察
优缺点分析
优点
- 阿里巴巴平台大，技术资源丰富，能接触前沿大模型技术
- AI评测是新兴领域，专业人才稀缺，职业发展前景好
- 工作强度可能较大，需要应对快速迭代的模型和业务需求
- 适合对AI质量保障有热情，具备扎实技术功底和严谨思维的技术专家
缺点 / 挑战
- 工作内容具有挑战性，能快速提升技术能力和影响力
- 评测工作对细节和严谨性要求高，可能面临较大压力
- 需要跨部门协作，沟通成本较高
角色解读
- 可向AI评测专家方向发展，成为团队技术负责人
- 可转向AI模型调优、算法研发等岗位，利用评测经验优化模型
- 可晋升为技术管理岗，带领评测团队，负责更大范围的AI质量保障
- 负责大模型效果评估，构建评测指标体系和AB实验方案，对模型性能进行量化分析
- 设计对抗性测试用例，评估模型鲁棒性和安全性，输出风险评估报告
- 建立效果回归基线，监控模型更新带来的精度波动，推动体验优化闭环
- 开发自动化评测工具，建设数据标注平台，提升评测效率和可复现性
- 扎实的机器学习理论基础，熟悉模型评价指标如F1、PPL、BERTScore等
- 精通Python/C++，熟悉Linux环境，能高效处理数据和分析
- 具备统计学知识，掌握假设检验、方差分析等方法，能进行归因分析
- 熟悉Redis、MySQL等数据库，以及Tensorboard、W&B等实验跟踪工具
申请策略
- 了解阿里巴巴AI业务方向，在面试中展现对AI质量保障的见解
- 准备一个完整的评测项目案例，展示从设计到落地的能力
- 突出大模型评测或相关项目经验，展示具体成果和量化指标
- 强调编程能力和统计学背景，如Python、数据分析项目
- 如有论文或开源贡献，务必提及，增加学术竞争力
- 展示对评测工具链的熟悉程度，如Tensorboard、Docker等
- 深入学习大模型评测方法，了解最新benchmark和评估框架
- 提升自动化测试和数据分析能力，学习相关工具如Pandas、Scipy
面试指南
- 采用STAR法则，清晰描述情境、任务、行动和结果
- 强调数据驱动和量化思维，用具体指标说明效果
- 展示系统性思考，从评测设计到问题定位的完整逻辑
- 如何设计一个大模型在特定业务场景下的评测方案？
- 面对模型效果下降，你会如何定位问题？
- 你使用过哪些自动化评测工具？如何构建可复现的评测环境？
- 如何评估模型的鲁棒性和安全性？
- 请分享一个你主导的评测项目，遇到了哪些挑战？
职位点评
75
综合评分
大厂AI评测专家岗，技术前沿，薪资优厚，但工作地点固定，WLB未知。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长和职业发展的求职者，能接受一定的工作强度。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活50
使命价值70
薪资福利
80较高
阿里巴巴作为大厂，薪资福利具有竞争力，但具体薪资未披露，综合判断补偿性动机满足度较高。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
90较高
职位涉及前沿大模型评测技术，有明确的技能成长和职业发展空间，发展性动机满足度高。
技术前沿前沿/新兴技术
技术栈大模型、机器学习、Python、C++、统计学、AB测试、自动化测试
业务类型ambiguous
工作生活
50较低
工作地点在北京或杭州，未提及远程或弹性办公，可能需现场办公，生活化动机满足度一般。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI评测对提升AI产品质量和安全性有积极意义，行业前景好，意义感动机满足度较高。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs