美团
大模型/Agent 评测工程师（AI 研发方向）
大模型/Agent 评测工程师（AI 研发方向）
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Agent评测
大语言模型
数据分析
测试开发
研发效能
自动化测试
评测体系设计
值不值得投
74综合评分
综合评分 74
前沿AI Agent评测岗，技术成长性极高，薪资有竞争力，但办公模式与工作强度需确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
比测试开发中位数高
发布情况
新岗位 · 3 天前发布
公司情况
这家公司招聘很活跃
约 3320 个在招 · 其中测试开发 8 个
市场机会
选择面较广
上海 · 测试开发 · 约 160 个在招
职位详情
关于这个职位
该职位是负责通用AI Agent及研发工具评测体系的工程师
你需要将真实的软件研发流程抽象为可评测的任务，设计并建立覆盖多维度的指标体系，开发自动化评测平台，并通过分析Agent执行轨迹来定位问题、推动迭代
这是一个将前沿AI技术与软件工程实践深度结合的岗位
最低要求
计算机科学、软件工程、人工智能或相关专业本科及以上学历，具备3年及以上软件研发、测试开发、质量工程、研发效能或AI工程经验
熟练掌握Python、Go、Java或TypeScript中至少一种编程语言，具备良好的工程实现能力，能够独立完成评测工具、服务或平台模块的设计与开发
熟悉软件研发流程，了解Git、CI/CD、自动化测试、容器化环境以及常见的软件构建、测试和发布方式
对大语言模型和Agent有较深入理解，熟悉Prompt、上下文管理、任务规划、工具调用、多轮交互、代码执行及错误恢复等基本机制
具备评测方案设计能力，能够将模糊的质量问题转化为明确的评测任务、指标、评分规则和验收标准
具备良好的数据分析和实验能力，能够从评测数据和执行轨迹中发现规律、归纳失败类型并定位问题根因
具备较强的业务理解、逻辑分析和跨团队协作能力，能够推动评测方案在真实研发场景中落地
对AI编程和Agent技术保持高度关注，愿意持续探索新模型、新工具和新的评测方法
工作职责
负责通用 Agent、Code Agent 及 AI 研发工具的评测体系设计与建设，支撑模型、Prompt、工具和 Agent 工作流的持续迭代
深入需求分析、技术方案设计、代码生成与修改、测试生成、代码评审、缺陷修复和故障诊断等研发场景，将真实研发流程抽象为可复现、可扩展的评测任务
建立覆盖任务完成度、需求符合度、代码正确性、工具调用、规划执行、稳定性、安全性、成本和时延等维度的评测指标体系
负责评测数据和样本建设，持续沉淀真实任务、典型失败案例、线上反馈及核心回归用例，保障评测数据的代表性、区分度和可维护性
设计和研发自动化评测框架及平台，支持任务批量执行、过程数据采集、自动评分、版本对比、回归分析、异常告警和结果可视化
分析 Agent 的执行轨迹，定位其在需求理解、任务规划、上下文使用、工具调用、代码修改、测试执行和错误恢复等环节的问题，判断问题来源并提出改进建议
建立线上反馈与离线评测之间的闭环，将用户反馈、任务失败、人工接管和异常行为转化为可复现的评测与回归用例
与产品、算法、研发、测试及平台团队协作，推动评测结果应用于模型选择、Agent 优化、版本验收和发布决策
AI 洞察
优缺点分析
优点
- 处于AI前沿领域，深度参与大模型与Agent落地关键环节，技术积累价值高
- 岗位要求复合能力（AI+工程+测试），能快速构建稀缺的跨领域专业技能
- 直接与模型、研发、业务等核心团队协作，成果可见且影响力大
- 平台型工作有机会建设通用工具和体系，获得规模化的工程成就感
- 需要将模糊的研发体验转化为严谨的评测任务，对业务理解和抽象能力要求极高
- 可能需要处理大规模、高复杂度的评测数据与任务，对系统设计和工程能力是考验
- 适合对AI技术落地充满热情，兼具扎实软件工程功底和系统化思维，乐于通过构建质量保障体系来驱动技术进步的工程师
缺点 / 挑战
- Agent技术快速迭代，评测标准和方法需要持续创新，面临较高的学习压力
角色解读
- 向AI效能或质量工程专家方向发展，成为评测体系与平台领域的权威
- 横向扩展，深入了解特定领域（如代码智能体）的算法原理，参与模型优化
- 纵向发展，负责更大的评测团队或平台，驱动公司级别的AI研发效能提升
- 设计和构建针对AI Agent（如代码智能体）的评测体系与自动化平台
- 将复杂的软件研发流程（如需求分析、代码编写、测试）抽象为可量化评估的机器任务
- 深入分析AI Agent的执行过程与错误，定位问题并驱动模型和工作流的优化
- 连接研发各环节，利用评测数据支持产品、算法和研发团队的决策与迭代
- 扎实的软件工程能力，熟悉Python等编程语言及CI/CD等研发流程
- 对大语言模型和Agent技术有深入理解，包括其工作机制、规划与工具调用
- 出色的评测方案设计能力，能将主观质量要求转化为客观可度量的指标
- 数据分析与问题诊断能力，善于从日志和轨迹中洞察失败模式与根因
申请策略
- 仔细研读美团在AI和研发效能领域的公开文章或博客，理解其技术栈和挑战
- 思考并准备1-2个你认为对AI Agent评测特别重要的维度或挑战，并说明理由
- 面试时展现出你对“通过评测驱动优化”这一闭环流程的深刻理解，而不仅仅是“执行测试”
- 突出任何与测试开发、质量工程或研发效能相关的项目经验，尤其是涉及自动化工具或平台建设的
- 展示对大模型或Agent技术的理解，可以描述相关的学习项目、技术调研或实践经验
- 强调在复杂项目中进行问题定位、数据分析和跨团队协作推动改进的具体案例
- 列出掌握的编程语言（如Python）以及Git、Docker、CI/CD等工具链的熟练程度
- 深入学习主流大语言模型（如GPT-4、Claude）和Agent框架（如LangChain, AutoGPT）的工作原理
面试指南
- 对于方案设计类问题，采用“背景-目标-方法-结果-反思”的结构，突出你的系统性思考
- 对于技术细节类问题，展现你的知识广度（如熟悉哪些模型/框架）和深度（如对某个机制的理解）
- 对于挑战与创新类问题，结合JD中的痛点（如真实研发流程抽象、闭环建设）进行回答，展示你的洞察力
- 请描述一个你设计的复杂系统或工具的评测方案
- 你的评测目标、指标是如何确定的？
- 如果让你为一个用于自动修复代码Bug的Agent设计评测，你会考虑哪些核心指标？如何获取评测数据？
- 在分析Agent的一次失败任务时，你会如何定位问题是在需求理解阶段、规划阶段还是工具调用阶段？
- 你如何确保你设计的评测体系能够真实反映用户在实际研发场景中的体验？
职位点评
薪资福利65
成长发展95
工作生活55
使命价值85
薪资福利
65中等
该岗位作为技术专家岗，在一线城市薪资水平预计有市场竞争力，但JD未明确提及具体薪资福利细节。
薪资信号未披露（AI估算：25K-45K/月）
成长发展
95较高
该岗位聚焦大模型与Agent前沿方向，要求深入理解和实践，能提供顶尖的技术深度与复合能力成长空间。
技术前沿前沿/新兴技术
技术栈大语言模型、Agent、Prompt、评测体系、自动化测试、Python、CI/CD
成长机会持续迭代、持续探索新模型、新工具和新的评测方法、从设计到落地的完整建设、复合领域经验
业务类型cost_center
工作生活
55较低
JD未明确工作模式（远程/混合/现场）及办公时间相关信息，WLB情况无法判断。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
处于AI技术驱动业务变革的高增长领域，通过评测保障AI工具质量，直接助力“帮大家吃得更好，生活更好”的使命。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号帮大家吃得更好，生活更好、助力业务实现高质量增长、优化用户使用体验，提升商户经营水平
创新程度开拓性创新（行业首创）
Watch Jobs