Meituan logo
美团
Agent评测专家

Agent评测专家

发布于 1 小时前

普通员工/个人贡献者

AI 估算 · 3.0–5.5万 · AI 参考估算
中级经验
本科
全职员工仅现场办公AI算法
AI算法
Agent评测
Vibe Coding
大模型评测
数据标注
自动化流程
评测框架
质量管控

值不值得投

72综合评分

综合评分 72

前沿Agent评测岗位,技术成长突出,业务价值明确,办公灵活性未披露

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

4.3万

比AI算法中位数低

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 6960 个在招 · 其中AI算法 66 个

市场机会

选择面较广

北京 · AI算法 · 约 280 个在招

职位详情

关于这个职位

该职位聚焦Agent与大模型的评测体系建设,负责设计评测框架、Benchmark数据集和标注质检规范,并通过评测结论驱动AI产品与模型优化

适合关注前沿AI评测、具备开发能力和数据分析能力的候选人,在业务场景中推动Agent质量提升

最低要求

计算机、人工智能、统计学、数学或相关专业,本科及以上学历

熟悉业界主流评测工具集和评测集,有独立设计评测框架和评测标准经验
沟通表达能力优秀
熟悉Java或Python,有实际开发、测试开发或评测工具开发经验优先
具备模型和AI产品分析能力,根据评测结论提出优化建议,驱动优化落地
关注业界前沿AI模型和产品发展,关注AI前沿评测方法发展,并转化为内部评测实践,并且能够熟练借助AI工具进行
具备Vibe coding或自动化流程搭建能力,支持方案快速验证与落地迭代
对AI和大模型领域有激情,乐于挑战模糊的事情,喜欢找办法解决问题,具备较强的团队协作能力、组织协调能力

工作职责

评测体系建设:设计覆盖基座模型、端到端Agent、用户体验等场景的评测框架和标准,保障评测可解释可复现,并主导Benchmark数据集构建与持续迭代,防控数据污染与评测失效

数据生产与质量管控:主导评测方案设计,建立标注规范与质检体系,同时与数据团队协作,保障大规模数据生产的稳定性与准确性
沉淀团队评测方法论,输出可复用框架与工具

优先资格

熟悉Java或Python,有实际开发、测试开发或评测工具开发经验优先

AI 洞察

优缺点分析

优点

  • 岗位处于Agent和大模型评测这一新兴方向,能够积累前沿AI质量评估和Benchmark建设经验
  • 团队强调成熟方法论和业务实践结合,有机会在多个本地商业场景中打磨跨领域评测认知
  • 工作内容兼具技术深度和业务影响力,评测结论可直接推动Agent产品优化
  • 岗位强调工具沉淀和自动化流程,有利于形成可复用的平台化能力
  • Agent评测标准仍在快速演进,很多问题具有模糊性,需要持续探索而非套用成熟方案
  • 适合对大模型和Agent评测有热情,兼具开发能力、数据分析能力和业务理解力的AI技术候选人
  • 尤其适合愿意在模糊问题中建立标准、推动跨团队落地的求职者

缺点 / 挑战

  • 需要同时理解模型、产品体验、数据质量和业务场景,跨团队协同成本较高
  • 评测体系要求可解释、可复现且能防控数据污染,对方案严谨性和工程落地能力要求较高

角色解读

  • 可向AI评测架构师、大模型质量体系负责人方向发展,主导更复杂的评测平台和基准体系建设
  • 可转向Agent产品经理、AI应用研发或算法优化方向,基于评测洞察推动模型与产品迭代
  • 长期可发展为AI质量与评测方法论专家,沉淀跨业务、跨场景的评测标准和工具平台
  • 设计覆盖基座模型、端到端Agent和用户体验的评测框架,建立可解释、可复现的评测标准
  • 主导Benchmark数据集构建与持续迭代,识别数据污染、评测失效等风险,保障评测结果可信
  • 制定评测方案、标注规范和质检体系,并与数据团队协作保障大规模数据生产质量
  • 沉淀可复用的评测方法论、框架和工具,帮助业务团队持续优化Agent产品体验
  • 需要熟悉主流AI评测工具、评测集和评测框架设计方法,能够独立建立评测标准
  • 需要具备Java或Python开发能力,能够参与评测工具、自动化测试流程或测试开发工作
  • 需要掌握模型与AI产品分析能力,能把评测结论转化为具体优化建议并推动落地
  • 需要关注大模型、Agent和前沿评测方法,具备跨团队沟通、组织协调和问题拆解能力

申请策略

  • 申请前可了解美团核心本地商业业务场景,思考Agent评测在商户、用户和平台侧可能如何落地
  • 面试中注意体现务实、自驱和协作意识,用清晰案例说明自己如何处理模糊问题和推动跨团队共识
  • 突出曾参与或主导的评测框架、Benchmark数据集、标注规范和质检体系建设经历
  • 强调Java或Python开发能力,尤其是评测工具、自动化测试、数据处理流程或平台化工具落地经验
  • 展示对大模型、Agent产品、主流评测集和前沿评测方法的持续关注与理解
  • 用具体案例说明如何通过评测结论发现产品问题、提出优化建议并推动业务方落地
  • 补充学习大模型评测、Agent评测、RAG评测、工具调用评测等常见方法论和指标体系
  • 提升Python或Java工程能力,重点练习评测脚本、自动化流程、数据质检和结果可视化工具

面试指南

  • 回答评测体系类问题时,可按“目标定义—场景拆解—指标设计—数据集构建—质检机制—结果应用”的框架展开
  • 回答落地推动类问题时,使用“问题背景—关键矛盾—方案设计—协作过程—量化结果—复盘沉淀”的结构,突出可复现和可复用价值
  • 回答技术工具类问题时,结合具体语言、流程、数据格式、自动化环节和最终产出,避免只讲概念
  • 如何设计一个覆盖基座模型、端到端Agent和用户体验的评测体系?
  • 如何保证Benchmark数据集质量,并避免数据污染和评测失效?
  • 请举例说明你如何通过评测结论推动模型或AI产品优化落地
  • 面对不同业务方对评测口径不一致的情况,你会如何协调并制定统一标准?
  • 你如何使用Java或Python搭建评测工具或自动化流程?

职位点评

薪资福利72
成长发展88
工作生活48
使命价值78

薪资福利

72中等

JD未披露薪资和具体福利信息,因此补偿性动机只能基于岗位技术难度和城市市场做有限判断。该岗位属于AI评测与Agent方向,技能门槛较高,通常具备一定薪资吸引力,但福利稳定性信息不足。

薪资信号未披露(AI估算:3.0千–5.5万/月)

成长发展

88较高

岗位直接涉及基座模型、端到端Agent、Benchmark、评测框架和前沿AI评测方法,技术成长空间明显。JD还提到沉淀团队方法论、输出可复用框架与工具,有利于形成体系化和平台化能力。

技术前沿前沿/新兴技术
技术栈Agent、基座模型、GenAI、Benchmark、评测框架、Java、Python、Vibe coding、自动化流程
成长机会沉淀团队评测方法论、输出可复用框架与工具、关注业界前沿AI模型和产品发展、关注AI前沿评测方法发展
业务类型profit_center

工作生活

48较低

JD仅明确工作地点为北京市,未说明远程、混合办公、弹性工时或加班情况。由于办公模式和生活节奏信息缺失,生活化动机满足程度难以判断。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

78中等

岗位服务于AI评测体系建设和Agent迭代,能够推动AI产品质量提升和用户体验优化,具有一定技术与业务价值。JD中明确提出助力业务高质量增长、优化用户体验、提升商户经营水平和促进行业生态健康发展,意义感较强。

行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号助力业务实现高质量增长、优化用户使用体验、提升商户经营水平、促进行业生态伙伴关系的持续健康发展、帮大家吃得更好,生活更好
创新程度积极采用新技术
Watch Jobs