阿里巴巴
业务技术-Agent 评测工程师-AI 应用效果方向
业务技术-Agent 评测工程师-AI 应用效果方向
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
A/B测试
Ai Agent
Llm-As-A-Judge
Prompt Engineering
Rag
大模型评测
数据分析
自动化测试
质量工程
值不值得投
82综合评分
综合评分 82
前沿AI赛道、技术成长空间大、业务价值凸显，WLB待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比测试开发中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 3620 个在招 · 其中测试开发 38 个
市场机会
选择面较广
杭州 · 测试开发 · 约 110 个在招
职位详情
关于这个职位
该职位主要负责天猫核心业务场景下AI Agent的端到端效果评测与持续优化
通过设计多维度评测指标、构建自动化评测体系、分析执行轨迹与数据回流，精准定位Prompt、工具链及架构缺陷，推动AI应用在真实业务中实现可衡量、可持续的效果提升
最低要求
本科及以上学历，计算机、人工智能、软件工程、统计学、数学等相关专业
具备 2 年以上软件测试、质量工程、AI 应用评测或效果优化经验，有大模型或 AI Agent 落地经验
理解 AI Native 应用架构及 Agent 核心链路，熟悉 Prompt、RAG/向量检索、Skill、记忆、知识库、工具调用、任务规划和多轮交互等技术或组件
具备端到端业务效果意识，能够从业务目标出发定义成功标准、设计评测指标，并建立离线评测与线上业务效果的关联
熟悉 Agent 评测体系建设，能够综合运用自动化评测、规则评测、LLM-as-a-Judge、人工评测及红蓝对抗等方法，并理解其偏差和适用边界
具备问题挖掘、数据分析和实验设计能力，能够结合评测结果与执行轨迹完成根因分析，通过 A/B 测试或版本对比验证优化收益
熟练使用 Python、Java 等至少一种编程语言，具备评测集与反馈数据管理、自动化评测、数据处理或评测工具开发能力
具备较强的业务理解、跨团队协作和结果推动能力，能够独立承担 Agent 应用或核心组件的效果评测与优化，并对最终交付效果负责
工作职责
Agent 端到端业务效果评测与优化
面向天猫业务 Agent，设计覆盖任务理解、规划决策、知识获取、工具调用、任务执行及最终业务结果的端到端评测方案
建立多维度评测指标与判定标准，包括任务完成率、结果正确性、业务规则符合度、工具调用准确性、过程合理性、稳定性、安全性、成本及时延等
打通离线评测与线上业务效果，围绕真实场景中的任务成功、用户体验、业务转化和履约质量等目标评估 Agent 价值
能够独立负责一个 Agent 应用或核心组件的效果优化，从问题定义、方案设计、评测验证到上线回归，对最终效果负责
业务评测集与数据回流体系建设
从真实业务流量、用户行为、反馈数据、线上问题和专家经验中沉淀高价值样本，建设场景化、分层化的评测集与业务 Benchmark
设计覆盖常规、边界、复杂及对抗场景的评测任务，持续提升评测集的代表性、区分度与风险覆盖能力
建立数据采集、清洗、标注、质检、版本管理与持续更新机制，保障评测数据的质量、时效性和可追溯性
建设线上问题与评测集之间的数据回流机制，将真实应用行为和失败案例转化为可复现、可回归的评测资产，驱动针对性优化
深度问题挖掘与效果归因
对 Agent 输出结果和完整执行轨迹进行分析，定位 Prompt、Skill、记忆、知识库、检索、规划推理、工具调用及业务执行等环节的问题
建立失败模式分类与根因分析机制，识别共性短板、系统性风险及高价值优化机会，并形成可落地的改进方案
运用统计分析、实验设计、AI 对齐评估及人工评测等方法，判断效果差异、优化收益和结论可信度
建设可视化评测报告与问题追踪机制，推动问题从发现、归因、修复到验证的闭环管理
评测驱动的 AI 应用优化
与算法、研发、产品和业务团队协作，将评测结论转化为 Prompt、Skill、记忆、知识库、检索策略、工具链及 Agent 架构的优化方案
设计 A/B 测试、红蓝对抗和版本对比实验，验证优化效果，识别真实收益、适用边界与回退风险
建立版本准入、自动化回归和持续效果追踪机制，保障 Agent 迭代过程中的效果稳定性与可控性
沉淀评测方法、工具和最佳实践，建设自动化评测框架及自助评测能力，提升团队规模化发现问题和优化应用的效率
AI 洞察
优缺点分析
优点
- 聚焦AI Agent前沿赛道，接触大模型核心链路与技术栈，技术视野领先
- 直接对接天猫核心业务场景，成果可量化且对实际营收/体验有显著影响
- 平台资源雄厚，具备完善的工具链、数据积累与跨部门协作机制
- AI Agent技术迭代极快，需持续跟进最新论文、开源项目与行业标杆
- 评测指标与线上业务效果的对齐难度大，需平衡技术指标与商业诉求
- 适合具备扎实工程基础、对AI应用落地有强烈兴趣，且擅长用数据驱动问题解决的技术型求职者
缺点 / 挑战
- 跨团队推动优化涉及多方利益协调，对沟通与项目管理能力要求较高
角色解读
- 向AI质量工程专家或大模型评测架构师方向发展，主导企业级AI效能体系建设
- 横向拓展至AI产品经理或算法工程师，深入参与Agent核心逻辑设计与商业化落地
- 晋升为技术负责人，带领团队负责复杂AI系统的稳定性、安全与效果治理
- 设计并搭建AI Agent的端到端评测体系，制定多维度效果指标与判定标准
- 通过自动化评测、数据回流与轨迹分析，定位Prompt、工具链及架构缺陷
- 协同算法、研发与产品团队，推动Agent在真实业务场景中的持续优化与上线验证
- 熟练掌握Python/Java编程及自动化测试框架开发
- 深入理解LLM/RAG/Agent架构，熟悉Prompt工程与多模态交互逻辑
- 具备扎实的数据分析与实验设计能力，能独立完成A/B测试与根因分析
- 熟悉大模型评测方法论（如LLM-as-a-Judge、红蓝对抗、人工对齐评估）
申请策略
- 提前研究淘天集团近期AI应用动态（如智能导购、客服Agent），准备针对性优化思路
- 面试时重点展现“技术+业务”双视角，说明如何将抽象指标转化为可衡量的业务价值
- 突出2年以上AI/大模型相关项目经验，强调端到端效果优化与数据闭环案例
- 详细列出熟悉的评测方法论（如自动化评测框架、红蓝对抗、LLM-as-a-Judge）及具体产出
- 展示Python/Java编程能力及数据处理工具链使用经验，体现工程落地能力
- 系统学习LangChain/LlamaIndex等Agent开发框架，理解底层执行轨迹
- 强化统计学与实验设计知识，掌握因果推断与A/B测试分析方法
- 关注AI安全、对齐评估（RLHF/DPO）及可解释性技术，拓宽评测维度
面试指南
- 采用STAR法则结构化回答，先阐述业务背景与目标，再说明技术方案设计、实施过程与量化结果
- 针对根因分析问题，遵循“数据验证→假设提出→实验隔离→归因定位→方案验证”的逻辑链条
- 强调闭环思维，突出从问题发现、指标设计、工具开发到效果追踪的全流程管理能力
- 如何设计一套覆盖常规、边界与对抗场景的Agent评测集？
- 当离线评测得分高但线上业务转化率下降时，你会如何排查根因？
- 请分享你使用过的自动化评测工具或框架，以及如何保证评测数据的时效性与质量？
- 面对Prompt或知识库导致的Agent幻觉，有哪些有效的归因与优化手段？
- 复习大模型基础原理（Transformer、RAG、ReAct等）及主流Agent架构
职位点评
薪资福利85
成长发展92
工作生活65
使命价值78
薪资福利
85较高
作为已上市互联网巨头岗位，提供具有市场竞争力的薪酬与完善福利体系，满足求职者对经济回报与稳定性的核心诉求。
薪资信号未披露（AI估算：3.5千–6.0万/月）
成长发展
92较高
岗位深度绑定AI Agent前沿技术，提供丰富的技术探索空间与清晰的专家/管理双通道发展路径，极大满足技能成长需求。
技术前沿前沿/新兴技术
技术栈AI Agent、LLM、RAG、Prompt Engineering、Python、自动化评测、A/B测试
业务类型profit_center
工作生活
65中等
JD未明确提及弹性工时或远程政策，互联网大厂通常节奏较快，但岗位侧重效果优化与体系建设，相对纯研发可能具备一定自主性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
78中等
致力于通过评测驱动AI技术在真实商业场景中落地见效，推动技术向善与业务提效，具备较强的行业价值与社会意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs