
天猫
业务技术-AI Agent评测专家(Code/Work方向)-杭州
业务技术-AI Agent评测专家(Code/Work方向)-杭州
发布于 33 分钟前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Ai Agent
Llm-As-Judge
Prompt Engineering
Rubric设计
大模型评估
数据分析
评测体系
值不值得投
81综合评分
综合评分 81
前沿AI Agent评测技术岗,高成长性,大厂平台,需适应一定工作压力
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
4.0万
比AI算法中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 260 个在招 · 其中AI算法 4 个
市场机会
选择面较广
杭州 · AI算法 · 96 个在招
职位详情
关于这个职位
负责主流Code/Work类AI Agent的深度评测与能力评估,构建长程任务评测集并制定评分标准
通过多模态评测方法识别Agent在规划、工具调用及纠错等方面的短板,输出优化建议并协同研发团队推动模型迭代,提升Agent在实际业务场景中的可用性与可靠性
最低要求
重度使用过Claude Code、Codex等主流Code或Work类Agent产品,能独立完成复杂开发、文档处理、数据分析或研究等真实任务,对Agent的能力边界、使用体验和交付质量有自己的理解与判断
主导或深度参与过Code或Work类Agent的评测,熟悉Rubric设计、人工评测和LLM-as-Judge,理解评测偏差和随机波动对结论的影响,能将开放式任务转化为可执行的评测方案与评分标准
熟练掌握Python,能独立编写数据处理、评测脚本和结果分析工具,具备基本的统计分析和实验设计能力
自驱力强,能独立发现问题、定义问题并推动解决
逻辑清晰、表达准确,善于跨团队协作,能够将评测发现转化为具体的改进建议
工作职责
深度使用主流Code/Work类Agent产品完成真实的长程任务,通过多轮交互、工具调用和结果验证,系统分析Agent在多步规划、指令跟随、上下文管理、信息缺失处理和执行中的纠错恢复等方面的能力短板与失败模式
针对规划、工具调用、多轮交互、指令跟随等核心能力,构建覆盖不同场景、难度和异常情况的长程任务与边界用例
明确任务输入、运行条件和验收标准,通过可复现的评测与重复实验,识别不同Agent/模型的能力差异,结合业界技术进展与真实用户需求,持续迭代评测集与标准
从准确性、完整性、约束满足度和实际可用性等维度评估交付物,结合Rubric设计、程序化校验、人工评测和LLM-as-Judge,持续校准评分标准、验证评分一致性,提升评测结果的可靠性
基于执行轨迹定位失败环节,区分模型能力、Agent策略、工具接口及运行环境等因素,输出清晰的评测结论和优化建议
将典型失败模式沉淀为新的评测用例和改进数据,协同研发、算法团队推动修复,并通过回归评测验证效果
AI 洞察
优缺点分析
优点
- 处于AI Agent评测这一前沿且稀缺的细分领域,技术视野开阔,接触最新大模型技术
- 需要同时具备技术实现能力(Python)和业务理解能力,工作对逻辑思维和细致度要求极高
- 适合对AI技术有浓厚兴趣,兼具逻辑思维、编程能力和批判性思维的复合型技术人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI评测架构师、大模型算法专家或AI产品经理方向发展,成为连接模型技术与业务落地的关键角色
- 深入使用各类AI Agent产品进行长程任务测试,挖掘其在复杂场景下的能力短板与失败模式
- 精通Python编程与数据分析,熟悉LLM-as-Judge、Rubric设计等前沿评测方法论,具备敏锐的技术洞察力
申请策略
- 准备具体的Agent评测案例,展示如何设计Rubric以及如何通过数据驱动的方式提出优化建议
- 突出展示对主流Agent产品的深度使用案例,强调在评测方案设计、数据分析和结果归因方面的具体成果
- 加强Python数据处理库(如Pandas)的使用熟练度,深入研究LLM评测领域的最新论文和方法论
面试指南
- 采用STAR法则(情境、任务、行动、结果),重点阐述评测设计的逻辑严密性、数据分析的深度以及最终带来的技术改进价值
- 请描述你使用过的最复杂的Agent任务场景,你是如何评估其成功与否的?
- 如何设计一个科学的Rubric来评估AI Agent的多步规划能力?
- 当Agent出现幻觉或错误时,你如何通过数据定位是模型问题还是Prompt问题?
- 请举例说明你如何利用LLM-as-Judge提高评测效率,并保证结果的一致性?
- 复习大模型基本原理,熟悉常见的Agent框架(如LangChain, LlamaIndex),准备1-2个完整的Agent评测项目复盘
职位点评
薪资福利85
成长发展95
工作生活60
使命价值75
薪资福利
85较高
作为头部互联网大厂的核心技术岗位,提供具有竞争力的薪酬福利和稳定的职业发展平台,满足度高。
薪资信号未披露(AI估算:3.0千–5.0万/月)
成长发展
95较高
岗位直接关联AI Agent前沿技术,涉及LLM-as-Judge等创新方法,技术成长空间巨大,发展性动机极强。
技术前沿前沿/新兴技术
技术栈AI Agent、LLM-as-Judge、Python、Claude Code、Codex
业务类型profit_center
工作生活
60中等
互联网大厂通常工作节奏较快,虽地处杭州生活成本相对一线城市略低,但高强度技术要求可能影响WLB。
工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)
使命价值
75中等
通过提升AI Agent的可靠性和可用性,间接推动人工智能技术在更广泛场景下的有效应用,具有一定的行业推动意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
天猫 的其他在招职位
相似职位推荐
【REDstar】Dots-大模型Personal Agent后训练算法工程师
小红书 · 北京市
AI 估算 · 4.0–7.0万18 分钟前发布
算法工程师
TCL · 深圳市
AI 估算 · 2.5–4.0万30 分钟前发布
西门子数字化工业集团 物理AI平台 AI算法开发
西门子 · 苏州市
AI 估算 · 4.0–7.0万1 小时前发布
蚂蚁集团-AI 应用工程师-AIMA 生态
蚂蚁集团 · 上海市
AI 估算 · 3.0–5.0万2 小时前发布
Engineer, AI Application
友邦保险 · 成都市
AI 估算 · 2.5–4.0万2 小时前发布
Agent 评测 Leader(通用 Harness / 评测平台)
小红书 · 北京市
AI 估算 · 4.0–7.0万7 小时前发布
蚂蚁健康-FDE专家(AI Agent技术)-业务发展
蚂蚁集团 · 杭州市
AI 估算 · 4.0–7.0万8 小时前发布
Agent Personalization and Memory Evolution
联想 · 北京市
AI 估算 · 8.0–15.0万22 小时前发布
Watch Jobs