蚂蚁集团
蚂蚁集团-AI评测工程师-杭州/成都
蚂蚁集团-AI评测工程师-杭州/成都
发布于 大约 8 小时前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Agentic Workflows
Ai评测
Llm-As-A-Judge
大模型
值不值得投
75综合评分
综合评分 75
前沿AI评测技术，发展空间大，薪资有竞争力，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
45K
比测试开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1090 个在招 · 其中测试开发 11 个
市场机会
选择适中
杭州 · 测试开发 · 48 个在招
职位详情
关于这个职位
作为蚂蚁集团的AI评测工程师，你将负责设计并实施AI/算法类产品的评测策略，构建高难度评测集，开发支持万级并发的评测流水线，并利用LLM-as-a-Judge等技术解决开放式生成量化难题
你将与AI研发团队紧密合作，对Bad Case进行算法级归因，指导模型迭代，同时研究前沿评测技术，制定评测技术发展规划
该岗位要求5年以上AI评测经验，熟悉主流算法框架和Python/Java，对新技术敏锐度高
最低要求
年以上互联网/传统行业AI评测经验，含3年以上 AI/算法类产品评测经验（大模型/推荐/搜索/NLP），有基座模型评测工程经验者优先
熟悉算法服务测试场景（精度验证、AB实验评估等），熟悉常用评测指标（准确率/召回率/F1-score 等），掌握 Bad Case 归因与评测数据集构建
熟悉主流算法框架，熟练 Python/Java，有评测流水线/工具平台开发经验优先
对新质技术敏锐度高，能快速理解 AI 产品特性，具备技术攻关与团队协作能力
工作职责
按产品架构与业务要求，设计覆盖功能与非功能需求的评测策略，保障 AI/算法类产品效果符合设计预期与系统稳定性
面向复杂推理、Agentic Workflows 等前沿能力构建高难度评测集
开发支持万级并发、对接训练集群的评测流水线，实现 Checkpoint 边训边评与分钟级反馈
规模化落地 LLM-as-a-Judge 解决开放式生成量化难题
对 Bad Case 做算法级归因，反馈 AI 研发团队，指导数据配比、合成数据生成、AI短板能力提升
研究评测新技术方法，攻克评测复杂技术/算法问题
结合 AI 行业趋势制定评测技术发展规划，提升团队技术视野与影响力
AI 洞察
优缺点分析
优点
- 蚂蚁集团平台大，技术资源丰富，能接触前沿AI技术
- 岗位核心，参与AI产品关键环节，有影响力
- 对技术要求高，需要持续学习新技术
- 工作强度可能较大，需要应对复杂的评测场景
- 适合有丰富AI评测经验、热爱技术攻关、希望在AI领域深耕的技术专家
缺点 / 挑战
- 薪资水平较高，福利体系完善
- 需要跨团队协作，沟通成本较高
角色解读
- 可向AI评测专家方向发展，成为领域权威
- 有机会转向AI研发或算法工程岗位，深入模型开发
- 可晋升为技术团队负责人，带领评测团队
- 设计并执行AI/算法产品的评测策略，确保产品效果和系统稳定性
- 构建高难度评测集，开发评测流水线，实现模型训练的实时反馈
- 利用LLM-as-a-Judge等技术解决开放式生成任务的量化评估难题
- 对Bad Case进行算法级归因，反馈研发团队，指导模型优化
- 精通Python或Java，熟悉主流算法框架（如TensorFlow、PyTorch）
- 掌握评测指标（准确率、召回率、F1等）和评测方法（AB测试、精度验证）
- 具备评测流水线或工具平台开发经验，了解大规模并发系统
- 对AI前沿技术（如大模型、Agentic Workflows）有敏锐的洞察力
申请策略
- 了解蚂蚁集团AI产品线，特别是支付宝AI应用
- 准备展示过往评测项目的量化成果
- 突出AI评测项目经验，特别是大模型或推荐系统评测
- 强调评测流水线开发或工具平台建设的成果
- 展示对评测指标和Bad Case归因的深入理解
- 提及Python/Java编程能力和算法框架使用经验
- 学习LLM-as-a-Judge等前沿评测方法
- 熟悉分布式系统和并发编程，提升流水线开发能力
面试指南
- 采用STAR法则，结合具体项目经验，突出量化成果
- 展示系统化思维，从评测设计到执行再到反馈的闭环
- 强调团队协作和沟通能力，体现技术影响力
- 如何设计一个针对大语言模型的评测方案？
- 你如何处理Bad Case并推动模型改进？
- 描述一次你开发评测流水线的经历，如何保证效率？
- 如何评估Agentic Workflows的效果？
- 你如何保持对AI新技术的敏感度？
职位点评
薪资福利80
成长发展90
工作生活50
使命价值70
薪资福利
80较高
职位未明确薪资，但蚂蚁集团作为大型互联网公司，薪资水平通常具有竞争力，且福利体系完善。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
90较高
职位涉及前沿AI技术，如LLM-as-a-Judge和Agentic Workflows，且明确要求研究新技术，发展空间大。
技术前沿前沿/新兴技术
技术栈LLM-as-a-Judge、Agentic Workflows、大模型、评测流水线
业务类型ambiguous
工作生活
50较低
工作地点在杭州或成都，但未提及远程或弹性办公，可能需现场办公，且互联网公司工作强度可能较高。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI评测工作对保障AI产品可靠性有重要意义，但JD未提及社会价值导向，行业前景良好。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
蚂蚁集团 的其他在招职位
相似职位推荐
Watch Jobs