美团
Agent 评测产品经理
Agent 评测产品经理
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
Ai Agent
Prompt Engineering
Rag
产品经理
大模型
数据驱动
用户体验
评测体系
值不值得投
79综合评分
综合评分 79
前沿AI Agent产品经理，技术深度与产品判断力并重，成长性极高但WLB需自行平衡。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.3万
比AI产品经理中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3590 个在招 · 其中AI产品经理 24 个
市场机会
选择面较广
北京 · AI产品经理 · 约 140 个在招
职位详情
关于这个职位
负责美团AI Agent产品矩阵（CatPaw）的效果评测体系建设与产品调优
你需要深入分析AI Agent在真实用户场景下的表现，建立评测标准与数据集，通过横向对比和问题归因，推动模型、Prompt、交互等环节的优化，最终将评测结论转化为产品决策依据
最低要求
年以上AI、开发者工具、企业软件或效率产品相关经验，其中至少1年大模型或AI Agent产品经验
深度使用过多款国内外大模型及Agent产品，能够识别“看起来能完成”和“真实场景下稳定完成”之间的差异
理解大模型及Agent的基本工作机制，熟悉Prompt、Context、RAG、Memory、Tool Calling、MCP、Skills、Sandbox等概念
具备较强的评测设计能力，能够将模糊的“效果好不好”拆解为可执行的测试任务、评价维度和度量指标
具备良好的数据分析和问题归因能力，能够从大量案例中识别共性问题，并提出可验证的优化假设
有较强的动手能力和好奇心，愿意高频体验产品、复现问题，并持续跟踪快速变化的AI产品与技术趋势
工作职责
负责CatPaw系列产品的效果评测体系建设，覆盖通用办公Agent、云端助理、Coding Agent、NoCode及企业级Agent等产品方向
根据真实用户场景建立任务分类、评测数据集、评分标准和基准线，持续完善离线评测、人工评测、自动化评测和在线效果观测机制
持续跟踪国内外主流AI Agent产品，设计公平、可复现的横向对比方案，评估任务完成质量、成功率、稳定性、交互体验、执行效率、成本及安全性等关键维度
深入分析评测失败案例和用户负反馈，结合会话、Trace、模型输出及工具调用过程，判断问题来自模型、Prompt、上下文、知识库、工具、Skill、执行环境还是产品交互
与算法、研发、设计及业务团队协作，推动模型策略、Agent Harness、Prompt、Context、Memory、RAG、工具调用和交互体验等方向的调优
设计并推动A/B实验、回归测试和版本验收，验证优化方案的真实收益，避免局部指标提升但整体用户体验下降
将评测结果转化为清晰的产品判断和优先级建议，为产品路线图、模型选型、能力建设及版本发布提供决策依据
AI 洞察
优缺点分析
优点
- 置身AI Agent产品演进一线，有机会定义和打磨前沿产品的核心标准
- 角色具有深度技术属性，能直接参与并影响模型、Prompt等核心环节的优化，成长性强
- 评测结论直接驱动产品决策，个人产出对业务有显著影响力
- AI技术与产品形态迭代极快，需要持续高强度学习以保持对技术和竞品的敏锐度
- 需要平衡客观评测与主观体验，在快速变化的领域中建立稳定可靠的评估体系
- 适合对AI Agent有深度使用和浓厚兴趣，兼具技术理解力与产品思维，并享受通过数据驱动方法论解决复杂问题的求职者
缺点 / 挑战
- 评测与归因工作涉及复杂系统（模型、工具、交互），问题定位和跨团队推动优化可能面临挑战
角色解读
- 深耕AI Agent评测与产品优化领域，成为公司内部该方向的技术专家或标准制定者
- 凭借对产品核心链路的深刻理解，向更综合的AI产品经理或技术产品负责人角色发展
- 积累行业经验后，可转向AI产品战略规划、创业或成为独立的产品顾问
- 建立和优化AI Agent产品的效果评测体系，设计评测标准和自动化流程
- 深度剖析产品失败案例，定位问题根源（模型、Prompt、工具链等），并推动针对性优化
- 通过A/B实验和回归测试，验证优化效果，确保用户体验的整体提升
- 将评测洞察转化为产品路线图、模型选型和版本发布的关键决策依据
- AI产品经理核心能力：对AI产品效果有高度敏感性，具备将抽象体验量化为评测指标的能力
- 技术理解力：熟悉大模型及Agent的工作机制（Prompt、RAG、Memory、Tool Calling等），能与算法团队深度沟通
- 数据驱动与分析能力：善于从海量评测案例中发现共性问题，并提出可验证的优化假设
- 强动手能力与好奇心：愿意高频体验各类AI产品，复现问题并紧跟技术趋势
申请策略
- 在求职信或面试中，主动分享你对当前AI Agent产品“痛点”和“评价标准”的独立思考
- 可以准备一个针对某款AI Agent产品的简易评测分析报告作为作品集，这会是很大的加分项
- 详细阐述过往在AI、大模型或Agent相关产品中，负责效果评估、用户研究或数据驱动迭代的具体项目与成果
- 列举深度使用过的国内外AI Agent产品，并尝试从技术原理和产品设计角度分析其优劣
- 强调在评测设计、数据分析、问题归因等方面的具体方法和案例，展示系统化思维
- 体现与算法、研发等技术团队协作推动产品优化的实践经验
- 系统学习主流大模型和Agent的技术原理，特别是Prompt Engineering、RAG、Tool Use等核心概念
- 动手搭建或参与开源AI Agent项目的评测过程，积累实战经验，形成自己的评测方法论
面试指南
- 结构化思维：采用STAR法则（情境、任务、行动、结果）来组织回答，先定义评测目标，再拆解具体步骤和指标
- 案例驱动：用过去具体的项目经验来支撑你的方法论，突出你如何发现问题、分析数据并推动解决
- 展现技术理解：在回答中自然融入对Prompt、RAG、模型能力边界等概念的理解，展现与岗位匹配的技术深度
- 强调协作与影响：说明你如何与其他团队（算法、研发）有效沟通，共同达成产品目标
- 你如何为一个新上线的AI Agent功能设计评测体系？请描述你的思路
- 请举例说明，你如何从一个“效果不好”的模糊反馈中，定位到具体问题（如Prompt、RAG、工具调用等）？
- 你如何看待A/B实验在AI Agent产品优化中的作用？有哪些需要注意的坑？
- 如果让你设计一个对标国内外主流Agent产品的评测方案，你会从哪些维度入手？
职位点评
薪资福利75
成长发展95
工作生活60
使命价值85
薪资福利
75中等
JD未提及具体薪资和福利，但作为上市公司核心岗位，预计能提供市场水准的薪酬福利。
薪资信号未披露（AI估算：2.5千–4万/月）
成长发展
95较高
岗位处于AI Agent技术前沿，要求深入技术核心链路进行评测与调优，能提供极强的技术积累和产品判断力成长。
技术前沿前沿/新兴技术
技术栈AI Agent、Prompt、RAG、Memory、Tool Calling、MCP、Skills、Sandbox
业务类型profit_center
工作生活
60中等
JD未明确提及办公模式和工作强度，仅现场办公的模式灵活性一般，但AI产品迭代快可能带来工作压力。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
工作直接参与定义“真正好用的Agent”，推动AI技术在生产力场景落地，具有较高的创新性和行业影响力。
行业发展高速增长赛道
社会影响中性/一般
使命信号驱动技术发展，创造行业价值、探索企业级AI Agent的能力边界
创新程度开拓性创新（行业首创）
Watch Jobs