蚂蚁集团
蚂蚁健康-高级评测专家-业务风险&评测技术
蚂蚁健康-高级评测专家-业务风险&评测技术
发布于 3 小时前普通员工/个人贡献者
全职员工混合式弹性办公人工智能
人工智能
Agent Infra
Ai评测
Benchmark设计
分布式训练
大规模系统架构
性能优化
推理引擎
值不值得投
80综合评分
综合评分 80
前沿AI评测技术、平台资源充足、成长空间广阔，WLB待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.7万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 860 个在招 · 其中人工智能 43 个
市场机会
选择面较广
杭州 · 人工智能 · 约 460 个在招
职位详情
关于这个职位
负责构建面向Personal Agent的统一评测平台与训推评一体环境，主导Benchmark设计与指标体系优化
通过技术创新提升评测效率并降低成本，协同算法与产品团队支撑模型迭代与关键决策，持续沉淀评测方法论与平台能力
最低要求
专业背景: 计算机、软件工程、人工智能或相关专业本科及以上学历
技术经验: 7 年以上相关技术工作经验，具备大规模系统架构设计能力
核心技能:
○ 评测/训练平台: 深入实践过评测平台和环境搭建，有从 0 到 1 建设经验
○ 推理引擎: 熟悉主流推理引擎架构，具备性能分析与优化经验
○ Agent Infra: 深入理解 Agent 技术栈，包括任务规划、工具调用、记忆管理等
工程能力: 优秀的问题定位与解决能力，能独立排查复杂系统问题
工作职责
评测工程体系建设: 面向Personal Agent 构建统一评测平台和训推评一体环境的整体架构设计与落地，打造高效、稳定、可扩展的评测基础设施
Benchmark 设计与优化: 主导 benchmark 的构建方法论，设计科学合理的评测指标体系，探索评测RSI
效能与成本优化: 通过技术创新和工程优化，显著提升评测执行效率，降低资源成本，保障评测稳定性
技术前瞻性探索: 跟进业界评测技术前沿，引入创新方法，保持评测体系的领先性
跨团队协同: 与算法、产品、工程团队紧密配合，支撑阿福模型迭代、产品优化等关键决策
知识沉淀: 输出评测方法论、最佳实践、关键系统和统一平台产品，提升团队和蚂蚁整体评测能力
优先资格
优先条件 (具备以下任一)
● 有评测体系/实验平台/RL 训练相关项目管理经验
● 具备团队管理经验，有带领技术团队的成功案例
● 在深度学习框架、大规模分布式训练有深入实践
加分项
● 有国家/省级理科竞赛获奖经历(数学、物理、信息学奥赛等)
● 在顶级会议/期刊发表过评测相关论文
● 有开源评测工具/框架的核心贡献者
AI 洞察
优缺点分析
优点
- 聚焦AI Agent与评测前沿领域，技术栈极具前瞻性与行业稀缺性
- 依托庞大业务场景，拥有海量真实数据与算力资源支持
- 接触训推评一体化核心链路，个人技术影响力可直接转化为产品价值
- 需同时兼顾平台基建与算法评测双重职责，技术广度要求极高
- 评测指标体系设计缺乏绝对标准，需不断试错与验证
- 内部协作链条长，跨团队推进项目对沟通协调能力要求高
- 适合具备扎实AI底层工程能力、对大模型评测与Agent架构有浓厚兴趣，且能在复杂系统中独立驱动项目的资深技术人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 向AI基础设施架构师或首席评测专家方向发展
- 可拓展至大模型训练策略、RLHF或Agent生态负责人角色
- 积累行业标杆方法论后，可向技术管理或战略咨询方向转型
- 负责构建面向Personal Agent的统一评测平台与训推评一体环境，完成底层架构设计与落地
- 主导Benchmark构建方法论与指标体系设计，探索评测RSI等新方向
- 协同算法、产品与工程团队，利用评测数据支撑模型迭代与产品优化决策
- 精通评测/训练平台搭建，具备从0到1建设大规模系统的经验
- 深入理解Agent技术栈（任务规划、工具调用、记忆管理）及主流推理引擎
- 具备优秀的系统架构设计能力与复杂问题排查能力
申请策略
- 提前研究目标公司在AI Agent领域的公开技术博客与专利，了解其技术偏好
- 准备1-2个完整的评测平台架构设计案例，重点说明如何解决扩展性与稳定性瓶颈
- 突出从0到1搭建评测/训练平台的完整项目履历，量化效率提升与成本降低数据
- 详细列举Agent技术栈实践细节（如工具调用框架、记忆管理机制优化）
- 强调在Benchmark设计、指标体系构建方面的方法论沉淀与产出
- 补充强化分布式训练框架与推理引擎的性能调优经验
- 系统学习大模型评测标准及RLHF相关技术
- 提升系统架构设计文档撰写能力，便于跨团队对齐技术方案
面试指南
- 采用STAR法则结构化回答项目背景、目标、行动与结果，突出技术选型依据与量化收益
- 针对架构类问题，先阐述核心设计原则（如解耦、可扩展、可观测），再分层说明模块交互与容灾机制
- 针对指标设计类问题，展示从业务目标倒推技术指标的逻辑，结合具体案例说明权衡过程
- 请分享你从0到1搭建评测平台的架构设计思路，如何保证高并发下的稳定性？
- 面对不同垂直领域的Agent，你会如何设计通用的Benchmark指标体系？
- 如何评估和优化推理引擎的延迟与吞吐量？遇到过哪些典型瓶颈？
- 在跨团队协作中，当算法团队与工程团队对评测结果存在分歧时，你如何处理？
- 复习大模型基础理论及主流Agent开发框架
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
岗位薪酬结构符合一线互联网技术序列标准，福利体系完善且具有较强市场竞争力，能有效满足求职者对经济回报与职业稳定性的核心诉求。
薪资信号市场水准 (3.8千–7.5万/月)
成长发展
90较高
岗位深度绑定AI Agent与大模型评测前沿技术，提供丰富的技术探索空间与行业顶尖平台资源，对个人技术成长与职业壁垒构建极具价值。
技术前沿前沿/新兴技术
技术栈Agent Infra、推理引擎、Benchmark设计、训推评一体、RL训练
业务类型ambiguous
工作生活
60中等
JD未明确标注办公模式与工时安排，实际工作节奏需以入职后实际情况为准，整体满足程度受具体项目组交付压力影响。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
致力于构建科学的AI评测体系以推动模型迭代与产品优化，虽偏重商业应用落地，但对提升AI技术安全性与可靠性具有明确的正向行业价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
蚂蚁集团 的其他在招职位
相似职位推荐
Watch Jobs