美团
Agent评测工程师
Agent评测工程师
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Ai Agent
Benchmark构建
Prompt Engineering
大模型评测
数据质量管控
自动化测试
值不值得投
80综合评分
综合评分 80
前沿AI技术岗，高成长潜力，大厂平台背书，工作强度适中偏高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比AI算法中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 6180 个在招 · 其中AI算法 5 个
市场机会
选择适中
北京 · AI算法 · 50 个在招
职位详情
关于这个职位
负责构建和维护大模型及Agent的评测体系，设计评测框架、标准及Benchmark数据集
通过数据生产与质量管控，结合Java/Python开发能力，输出可复用的评测工具与方法论，驱动AI产品优化落地
最低要求
计算机、人工智能、统计学、数学或相关专业，本科及以上学历
熟悉业界主流评测工具集和评测集，有独立设计评测框架和评测标准经验
沟通表达能力优秀
熟悉Java或Python，有实际开发、测试开发或评测工具开发经验优先
具备模型和AI产品分析能力，根据评测结论提出优化建议，驱动优化落地
关注业界前沿AI模型和产品发展，关注AI前沿评测方法发展，并转化为内部评测实践，并且能够熟练借助AI工具进行
具备Vibe coding或自动化流程搭建能力，支持方案快速验证与落地迭代
对AI和大模型领域有激情，乐于挑战模糊的事情，喜欢找办法解决问题，具备较强的团队协作能力、组织协调能力
工作职责
评测体系建设：设计覆盖基座模型、端到端Agent、用户体验等场景的评测框架和标准，保障评测可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效
数据生产与质量管控：主导评测方案设计，建立标注规范与质检体系，同时与数据团队协作，保障大规模数据生产的稳定性与准确性
沉淀团队评测方法论，输出可复用框架与工具
AI 洞察
优缺点分析
优点
- 处于AI前沿赛道，接触最新大模型技术
- 平台资源丰富，数据量大
- 团队方法论成熟，利于个人成长
- 对AI技术有热情，具备扎实编程基础和逻辑思维能力，喜欢解决复杂问题的求职者
缺点 / 挑战
- AI评测领域标准尚在探索中，工作具有挑战性
- 需应对快速变化的技术趋势，保持学习压力
角色解读
- 向AI评测专家、算法策略负责人或AI产品经理方向发展
- 构建大模型和Agent的评测体系，制定标准和框架
- 掌握Python/Java编程，熟悉主流AI评测工具和Benchmark构建方法
申请策略
- 了解美团核心本地商业业务场景，思考如何将评测体系应用于具体业务
- 突出AI评测项目经验，展示独立设计评测框架的能力
- 强调编程技能（Python/Java）和数据处理能力
- 深入学习大模型原理及最新评测论文
- 提升自动化测试工具开发能力
面试指南
- 使用STAR法则（情境、任务、行动、结果）描述项目经历
- 重点阐述技术选型的理由、遇到的难点及解决方案、最终的业务价值
- 请介绍你设计过的一个AI评测框架，其核心指标是什么？
- 如何处理大模型评测中的数据污染问题？
- 如何评估Agent在复杂任务中的表现？
- 请举例说明你如何利用编程能力优化评测效率
- 复习大模型基础知识及常见评测基准（如HELM, MMLU等）
- 准备1-2个详细的AI评测项目案例
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
作为已上市的互联网巨头，提供具有市场竞争力的薪资和完善的福利体系，满足补偿性动机。
薪资信号市场水准 (2.5千–4.5万/月)
成长发展
90较高
岗位处于AI前沿领域，涉及大模型和Agent评测，技术含量高，成长空间大，满足发展性动机。
技术前沿前沿/新兴技术
技术栈Agent、大模型、GenAI、Python、Java、Vibe coding
成长机会沉淀团队评测方法论、输出可复用框架与工具、关注业界前沿AI模型和产品发展
业务类型profit_center
工作生活
60中等
互联网大厂通常工作节奏较快，但JD未明确提及加班情况，WLB一般，满足程度中等。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
岗位旨在优化用户使用体验和商户经营水平，具有一定的社会价值和行业意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号帮大家吃得更好，生活更好、优化用户使用体验、提升商户经营水平
创新程度积极采用新技术
美团 的其他在招职位
相似职位推荐
Agent 开发工程师-订单组
同程旅行 · 北京市
薪资 · 3.0–4.5万2 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 1.8–3.0万2 小时前发布
阿里云智能-集合通信优化技术专家-杭州/北京
阿里巴巴 · 杭州市
AI 估算 · 6.0–10.0万3 小时前发布
数据技术及产品部-AI领域专家-美术方向
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万3 小时前发布
业务技术-AI Agent 应用开发工程师-数据Agent方向
阿里巴巴 · 杭州市
AI 估算 · 2.5–4.0万3 小时前发布
智多星-大模型与数据建模
阿里巴巴 · 北京市
AI 估算 · 1.5–2.5万3 小时前发布
阿里云智能-终端智能创新业务 AI开放生态开发工程师-杭州
阿里巴巴 · 杭州市
AI 估算 · 3.0–5.0万3 小时前发布
算法工程师-Agent在线强化学习（T-Star Lab）
阿里巴巴 · 杭州市
AI 估算 · 1.5–3.0万3 小时前发布
Watch Jobs