百度
AI评测产品经理（库库办公方向）（J106699）
AI评测产品经理（库库办公方向）（J106699）
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
Ai Agent
Benchmark建设
专家网络管理
产品策略
大模型评测
数据分析
结构化思维
值不值得投
76综合评分
综合评分 76
核心AI大厂、前沿技术栈、高专业成长空间，需适应互联网快节奏。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比AI产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1370 个在招 · 其中AI产品经理 38 个
市场机会
选择面较广
北京 · AI产品经理 · 约 200 个在招
职位详情
关于这个职位
负责大模型及AI Agent产品的评测体系设计与数据集建设，通过搭建标准化评测框架与专家校准机制，横向对标竞品并输出能力归因报告
需协同算法与工程团队打通“评测-优化”闭环，为产品迭代提供核心决策支撑
最低要求
具备一定的产品、评测或数据相关工作经验，负责过大模型/AI 产品的评测工作
参与过评测集或 Benchmark 的建设
熟悉主流大模型评测方法，了解业界主流 Agent Benchmark
深度使用 AI Agent 产品，对办公类任务的能力边界有判断
有较强的结构化思考和书面表达能力
工作职责
评测体系设计：从用户真实工作出发，设计覆盖任务域、交互形态、行业人群、能力维度的评测框架和分级标准，定义北极星指标与核心评测指标，并能论证体系的完备性与可信度
评测集建设：主导题目来源规划（真实场景、用户研究、线上回流、前瞻任务），建立出题规范、rubric 规范和质量准入机制，持续迭代
专家与标准治理：组建并管理金融、教育等垂类领域的专家网络，把专家判断转化为可复现的评分标准
建立人工评分与 AI 评委的一致性校准机制
竞品对标与决策支撑：完成产品和主流竞品的横向评测，输出能力短板归因和迭代优先级建议，推动算法和产品团队落地
评测闭环：与算法、工程团队协作搭建评测管线，打通"评测 → 归因 → 优化 → 回归"的闭环
优先资格
有Office/办公协同、金融研究、教育等垂直领域的产品或从业经历
有组织外部专家或标注团队、建立质检体系的经验
能写 Python 脚本，做数据分析或自动化校验
发表过评测相关论文，或参与过开源 Benchmark
AI 洞察
优缺点分析
优点
- 身处国内头部AI大厂核心业务线，接触最前沿的大模型与Agent技术栈
- 直接参与公司级评测标准制定，对模型迭代具有实质性影响力
- 积累高壁垒的AI评估方法论与专家资源网络
- 评测体系设计需兼顾学术严谨性与业务实用性，指标抽象难度高
- 需频繁拉通算法、工程等多方团队推动落地，跨部门协调成本高
- AI技术迭代极快，需保持高强度持续学习
- 适合具备AI产品背景、对大模型技术原理有深刻理解，且擅长体系化思考与数据驱动决策的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI产品总监或大模型战略负责人发展，深耕模型能力评估与商业化落地
- 也可转型至AI安全合规、模型对齐（RLHF）或前沿AI研究产品经理方向
- 构建大模型及AI Agent产品的标准化评测体系与数据集，制定评估指标与分级标准
- 组织垂类专家网络进行人工与AI评分校准，确保评测结果的可信度
- 横向对比竞品能力，输出归因分析并推动算法与产品团队的迭代优化
- 精通大模型评测方法论与主流Agent Benchmark架构
- 具备扎实的数据分析与Python自动化处理能力
- 拥有优秀的结构化思维、书面表达及跨部门协同推进能力
- 熟悉办公协同或垂直行业业务逻辑
申请策略
- 提前调研百度在办公协同方向的AI布局（如文心一言、智能云办公产品），准备针对性的竞品评测思路
- 面试时着重展现结构化拆解复杂问题的能力
- 重点突出主导过的AI/大模型评测项目，量化评测集规模、指标覆盖率及对模型迭代的实际提升效果
- 详细展示Python数据处理或自动化校验脚本的实际应用案例
- 深入研读最新大模型评测论文（如C-Eval, MMLU, AgentBench等），掌握Rubric设计与一致性校准方法
- 补充SQL/Python数据分析技能，提升自动化评测管线搭建能力
面试指南
- 采用STAR法则（情境-任务-行动-结果）阐述项目背景与个人贡献
- 针对框架设计问题，按“目标定义-维度拆解-数据采集-标准制定-闭环验证”的逻辑展开
- 强调数据驱动与业务落地的结合
- 如何设计一套适用于AI Agent办公场景的评测框架？
- 如何解决人工评分与AI自动评分不一致的问题？
- 请分享一个你主导的Benchmark建设或评测集迭代案例
- 面对竞品在某项能力上的领先，你会如何归因并制定迭代优先级？
- 系统梳理主流大模型评测基准（如HELM, Big-Bench, AgentBench）的核心指标与设计思路
职位点评
薪资福利75
成长发展90
工作生活60
使命价值70
薪资福利
75中等
百度作为头部互联网大厂，薪酬福利体系完善，该岗位属于核心AI业务线，薪资竞争力较强，但具体数额未披露。
薪资信号未披露（AI估算：3.0千–5.0万/月）
成长发展
90较高
岗位深度参与大模型评测体系与Agent Benchmark建设，技术前沿性强，能提供极高的专业成长空间与行业视野。
技术前沿前沿/新兴技术
技术栈大模型评测、AI Agent、Benchmark、Python、LLM
业务类型profit_center
工作生活
60中等
互联网大厂节奏较快，虽未明确提及加班情况，但核心研发与产品岗位通常面临一定的项目交付压力。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
致力于构建可信、可靠的AI产品评测标准，推动AI技术在办公等垂直场景的安全落地，具有明确的技术向善与行业规范意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs