Tmall logo
天猫
业务技术-AI Agent评测专家(Code/Work方向)-杭州

业务技术-AI Agent评测专家(Code/Work方向)-杭州

发布于 33 分钟前

普通员工/个人贡献者

AI 估算 · 3.0–5.0万 · AI 参考估算
中级经验
学历未注明
全职员工仅现场办公AI算法
AI算法
Ai Agent
Llm-As-Judge
Prompt Engineering
Rubric设计
大模型评估
数据分析
评测体系

值不值得投

81综合评分

综合评分 81

前沿AI Agent评测技术岗,高成长性,大厂平台,需适应一定工作压力

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

4.0万

比AI算法中位数低

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 260 个在招 · 其中AI算法 4 个

市场机会

选择面较广

杭州 · AI算法 · 96 个在招

职位详情

关于这个职位

负责主流Code/Work类AI Agent的深度评测与能力评估,构建长程任务评测集并制定评分标准

通过多模态评测方法识别Agent在规划、工具调用及纠错等方面的短板,输出优化建议并协同研发团队推动模型迭代,提升Agent在实际业务场景中的可用性与可靠性

最低要求

重度使用过Claude Code、Codex等主流Code或Work类Agent产品,能独立完成复杂开发、文档处理、数据分析或研究等真实任务,对Agent的能力边界、使用体验和交付质量有自己的理解与判断

主导或深度参与过Code或Work类Agent的评测,熟悉Rubric设计、人工评测和LLM-as-Judge,理解评测偏差和随机波动对结论的影响,能将开放式任务转化为可执行的评测方案与评分标准
熟练掌握Python,能独立编写数据处理、评测脚本和结果分析工具,具备基本的统计分析和实验设计能力
自驱力强,能独立发现问题、定义问题并推动解决
逻辑清晰、表达准确,善于跨团队协作,能够将评测发现转化为具体的改进建议

工作职责

深度使用主流Code/Work类Agent产品完成真实的长程任务,通过多轮交互、工具调用和结果验证,系统分析Agent在多步规划、指令跟随、上下文管理、信息缺失处理和执行中的纠错恢复等方面的能力短板与失败模式

针对规划、工具调用、多轮交互、指令跟随等核心能力,构建覆盖不同场景、难度和异常情况的长程任务与边界用例
明确任务输入、运行条件和验收标准,通过可复现的评测与重复实验,识别不同Agent/模型的能力差异,结合业界技术进展与真实用户需求,持续迭代评测集与标准
从准确性、完整性、约束满足度和实际可用性等维度评估交付物,结合Rubric设计、程序化校验、人工评测和LLM-as-Judge,持续校准评分标准、验证评分一致性,提升评测结果的可靠性
基于执行轨迹定位失败环节,区分模型能力、Agent策略、工具接口及运行环境等因素,输出清晰的评测结论和优化建议
将典型失败模式沉淀为新的评测用例和改进数据,协同研发、算法团队推动修复,并通过回归评测验证效果

AI 洞察

优缺点分析

优点

  • 处于AI Agent评测这一前沿且稀缺的细分领域,技术视野开阔,接触最新大模型技术
  • 需要同时具备技术实现能力(Python)和业务理解能力,工作对逻辑思维和细致度要求极高
  • 适合对AI技术有浓厚兴趣,兼具逻辑思维、编程能力和批判性思维的复合型技术人才

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向AI评测架构师、大模型算法专家或AI产品经理方向发展,成为连接模型技术与业务落地的关键角色
  • 深入使用各类AI Agent产品进行长程任务测试,挖掘其在复杂场景下的能力短板与失败模式
  • 精通Python编程与数据分析,熟悉LLM-as-Judge、Rubric设计等前沿评测方法论,具备敏锐的技术洞察力

申请策略

  • 准备具体的Agent评测案例,展示如何设计Rubric以及如何通过数据驱动的方式提出优化建议
  • 突出展示对主流Agent产品的深度使用案例,强调在评测方案设计、数据分析和结果归因方面的具体成果
  • 加强Python数据处理库(如Pandas)的使用熟练度,深入研究LLM评测领域的最新论文和方法论

面试指南

  • 采用STAR法则(情境、任务、行动、结果),重点阐述评测设计的逻辑严密性、数据分析的深度以及最终带来的技术改进价值
  • 请描述你使用过的最复杂的Agent任务场景,你是如何评估其成功与否的?
  • 如何设计一个科学的Rubric来评估AI Agent的多步规划能力?
  • 当Agent出现幻觉或错误时,你如何通过数据定位是模型问题还是Prompt问题?
  • 请举例说明你如何利用LLM-as-Judge提高评测效率,并保证结果的一致性?
  • 复习大模型基本原理,熟悉常见的Agent框架(如LangChain, LlamaIndex),准备1-2个完整的Agent评测项目复盘

职位点评

薪资福利85
成长发展95
工作生活60
使命价值75

薪资福利

85较高

作为头部互联网大厂的核心技术岗位,提供具有竞争力的薪酬福利和稳定的职业发展平台,满足度高。

薪资信号未披露(AI估算:3.0千–5.0万/月)

成长发展

95较高

岗位直接关联AI Agent前沿技术,涉及LLM-as-Judge等创新方法,技术成长空间巨大,发展性动机极强。

技术前沿前沿/新兴技术
技术栈AI Agent、LLM-as-Judge、Python、Claude Code、Codex
业务类型profit_center

工作生活

60中等

互联网大厂通常工作节奏较快,虽地处杭州生活成本相对一线城市略低,但高强度技术要求可能影响WLB。

工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)

使命价值

75中等

通过提升AI Agent的可靠性和可用性,间接推动人工智能技术在更广泛场景下的有效应用,具有一定的行业推动意义。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs