蚂蚁集团
蚂蚁集团-支付宝AI评测专家-支付宝技术
蚂蚁集团-支付宝AI评测专家-支付宝技术
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Ai评测
Prompt Engineering
Rag
Sql
大模型(Llm)
数据分析
智能体(Agent)
质量保障
值不值得投
81综合评分
综合评分 81
前沿AI技术、高成长潜力、大厂平台、工作节奏可能较快
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 780 个在招
市场机会
选择适中
杭州 · AI算法 · 43 个在招
职位详情
关于这个职位
负责支付宝AI Native产品（模型、智能体）的评测体系规划与搭建，设计涵盖意图理解、任务规划等核心能力的指标体系
针对金融、出行等业务场景构建综合评测框架，主导Agent代码评测及多智能体系统建设，推动评测流程自动化与标准化，并协同团队实现评测闭环优化
最低要求
硕士及以上学历，计算机科学、人工智能、自然语言处理、统计学、数学等相关专业优先
年及以上工作经验，有大模型领域相关工作经验，至少2年以上AI产品评测或质量保障经验
有大规模LLM/Agent评测项目经验者优先
深入理解大模型（LLM、VLM）的基本原理、能力边界与典型缺陷（如幻觉、推理错误、安全风险等）
熟悉智能体（Agent）核心技术栈，包括ReAct/Plan-and-Execute等推理范式、工具调用（Function Calling）、RAG、多智能体协作等
了解主流LLM评测基准与方法及自动化评测技术
精通评测指标设计、采样方法、显著性检验、评测结果统计分析等
具备从业务目标出发抽象评测维度、设计可量化指标体系的能力
熟练掌握Python，能独立编写评测脚本、数据处理与分析代码
熟悉至少一种评测/数据工具链
具备SQL数据处理能力
具有用户视角，具有良好的用户体验感知力
良好的业务理解力，讲业务目标和用户价值转化为评测维度和度量指标
良好的沟通协作能力以及自驱力
工作职责
负责AI Native型产品（模型、智能体系统、PA产品）的评测体系规划与搭建，包括评测维度定义、评测指标体系设计、评测标准制定（涵盖意图理解、任务规划、工具调用、多轮对话、记忆能力、安全合规等核心能力）
针对不同业务场景（如金融、出行、酒旅、电商等），设计场景化的评测方案与测试用例集，建立覆盖功能、性能、体验、安全多层面的综合评测框架
负责AgentCoding代码评测，设计代码质量评测体系——涵盖需求理解准确性、代码功能正确性、可读性、可维护性、安全性及与产品需求的一致性等维度
建立“自动化测试 + LLM-as-a-Judge + 人工评审”混合评测流程
建立面向评测的多智能体系统，参与或主导AI评测平台的规划建设，推动评测流程的自动化、标准化、可视化
搭建面向业务持续迭代优化的评测workflow
与业务、算法、产品、工程团队紧密协作，将评测发现转化为可执行的优化方向，跟踪迭代效果形成闭环
沉淀评测方法论与最佳实践，提升团队整体评测意识与能力
持续跟踪行业前沿评测方法和评测技术，结合业务需求进行本地化适配与创新
优先资格
有深度参与/主导AI评测平台或评测体系0到1建设经验者优先
有AI评测相关论文或开源项目者优先
AI 洞察
优缺点分析
优点
- 处于AI应用落地最前沿，接触最新的大模型和Agent技术
- 在头部互联网大厂，资源充足，技术影响力大
- 岗位稀缺性强，随着AI普及，AI评测人才需求激增
- AI领域变化极快，需要持续高强度学习新知识和新工具
- 评测标准往往没有唯一答案，需要不断摸索和论证
- 需要平衡技术指标与业务体验，沟通成本高
- 适合对AI技术有浓厚兴趣、具备扎实计算机基础、喜欢钻研细节且善于沟通的技术人员
缺点 / 挑战
- 能够全面理解AI系统的优缺点，视野开阔
- 工作强度较大，需应对快速迭代的业务压力
角色解读
- 向AI质量专家/科学家方向发展，成为评测领域的权威
- 转向AI产品经理或算法工程师，利用评测洞察驱动产品创新
- 晋升为技术负责人，管理更大的评测团队或平台
- 构建AI产品的‘裁判’体系，定义大模型和智能体的好坏标准
- 设计复杂的评测实验和指标，确保AI在真实业务场景中可用、安全
- 开发自动化评测工具和平台，提升评测效率
- 分析评测数据，反馈给算法和产品团队以优化模型
- 深入理解LLM/Agent原理及常见缺陷（幻觉、安全等）
- 掌握Python编程及数据处理分析能力
- 熟悉主流评测基准、统计方法及自动化测试技术
- 具备优秀的业务抽象能力和跨团队协作沟通能力
申请策略
- 关注蚂蚁集团在AI领域的最新动态和技术博客
- 准备具体的案例，说明如何定义和解决一个复杂的AI评测问题
- 展现对业务场景的理解，不仅仅是技术视角
- 突出大模型/Agent相关的实际项目经验，特别是评测或QA经历
- 展示Python编程能力和数据处理分析的具体案例
- 强调在复杂系统中设计评测指标和方法论的能力
- 如有相关论文、开源项目或0-1平台建设经验，重点标注
- 深入学习LangChain、AutoGen等Agent开发框架
面试指南
- 使用STAR法则（情境、任务、行动、结果）描述过往项目
- 结合具体技术细节（如Prompt设计、数据采样策略）展示专业性
- 体现业务思维，说明技术决策如何服务于业务目标
- 展示学习能力，提及关注的最新技术和文献
- 请介绍你设计过的最复杂的AI评测体系，你是如何定义指标的？
- 大模型的幻觉问题很难评估，你有什么具体的解决方案或思路？
- 如何设计一个公平、无偏见的LLM-as-a-Judge评测流程？
- 请举例说明你如何通过评测数据发现并推动了模型或产品的优化
职位点评
薪资福利85
成长发展95
工作生活60
使命价值75
薪资福利
85较高
作为巨头企业核心部门岗位，薪资竞争力强，福利完善，稳定性高。
薪资信号未披露（AI估算：4.0千–7.0万/月）
成长发展
95较高
岗位处于AI技术前沿，涉及大量新技术学习和创新，成长空间巨大。
技术前沿前沿/新兴技术
技术栈LLM、Agent、RAG、Python、SQL、LLM-as-a-Judge
业务类型profit_center
工作生活
60中等
大厂核心研发岗位通常工作节奏较快，但具体WLB取决于团队文化，JD未明确提及弹性或加班情况。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
通过提升AI产品质量和安全，间接改善用户体验，具有积极的社会意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
蚂蚁集团 的其他在招职位
相似职位推荐
AI应用工程师
中际旭创 · 成都市
AI 估算 · 1.2–2.0万2 小时前发布
AIAPI搜索策略（J107215）
百度 · 北京市
AI 估算 · 3.5–6.0万3 小时前发布
【集团】NLP算法管培生
极兔速递 · 上海市
AI 估算 · 1.5–2.5万6 小时前发布
资深算法工程师（内容/挖掘方向）
网易 · 杭州市
AI 估算 · 4.0–7.0万10 小时前发布
外卖-高级软件开发工程师
美团 · 成都市
AI 估算 · 2.5–4.5万10 小时前发布
高级算法工程师
京东 · 北京市
AI 估算 · 6.0–10.0万10 小时前发布
大模型Agent算法工程师-【短视频推荐方向】
快手 · 北京市
AI 估算 · 3.0–6.0万10 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 2.0–3.5万10 小时前发布
Watch Jobs