
百度
大模型AI产品经理(J107515)
大模型AI产品经理(J107515)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
Agent评测
Ai产品经理
Swe-Bench
代码大模型
大模型
数据分析
数据策略
评测集构建
值不值得投
73综合评分
综合评分 73
前沿代码大模型评测岗,技术成长强,办公与生活节奏信息不明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
4.3万
比AI产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1360 个在招 · 其中AI产品经理 50 个
市场机会
选择面较广
北京 · AI产品经理 · 约 300 个在招
职位详情
关于这个职位
该岗位聚焦代码大模型与Agent能力评测,负责设计代码生成、补全、修复、重构等场景的评测集和指标体系,并通过日志分析驱动模型、数据与产品功能优化
适合具备大模型数据策略、代码任务理解和跨团队协调能力的求职者
最低要求
有过coding大模型相关数据策略经历和背景,对coding大模型任务的数据构造评估有了解
具备较强的coding大模型任务组织、拆解、协调能力
具有良好的沟通表达能力,能够抓住重点,owner意识强,对负责模块的效果把控具有主动性
踏实、心细、抗压能力和执行力强
工作职责
负责代码能力评测集的设计、构建与持续迭代,覆盖代码生成、代码补全、Bug 修复、重构、多文件编辑、仓库级任务等场景
设计科学的评测指标体系(如 pass@k、单元测试通过率、修复成功率、任务完成率、成本与步数效率等),保证评测结果可靠、可复现、可对比
建立评测数据的采集、清洗、标注与版本管理规范,防范数据污染与过拟合,确保评测集与真实开发者场景对齐
对模型与 Agent 在代码任务中的推理轨迹、工具调用链、多轮交互日志进行量化分析与归因
识别典型失败模式(如上下文丢失、工具误用、循环规划、错误修复不彻底等),输出结构化分析报告与改进建议
通过大规模日志分析,驱动模型能力、数据构建和产品功能(上下文管理、Agent 编排、长任务执行)的优先级决策
与工程团队协作建设自动化评测流水线、榜单与可视化看板,提升评测吞吐与结果透明度
建立评测结果与业务指标(用户采纳率、任务完成率、留存)之间的关联分析
跟踪 SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot 等主流代码评测基准的前沿进展,评估引入价值并本地化落地
参与内外部评测标准与报告的制定,产出有影响力的评测结论
优先资格
有过计算机和大模型专业背景的优先考虑,也欢迎算法、策略等工程技术岗位相关工作背景同学
AI 洞察
优缺点分析
优点
- 岗位处于代码大模型与Agent评测前沿,能积累高价值的大模型产品评测和数据策略经验
- 工作内容连接模型能力、数据建设和产品功能,视野覆盖技术路线与业务指标
- 可接触SWE-bench、LiveCodeBench等主流基准,有助于建立行业级评测方法论
- 跨团队协同场景丰富,适合提升复杂项目推进和结构化分析能力
- 适合具备计算机或大模型背景、做过数据策略/算法策略/AI产品相关工作,且愿意深入代码评测与Agent能力优化的求职者
缺点 / 挑战
- 代码任务评测场景复杂,涉及多文件、仓库级任务和Agent长链路执行,归因难度较高
- JD明确提到抗压能力和执行力强,说明岗位可能面临较快迭代和较高结果要求
- 需要同时理解大模型、代码开发、数据评估和产品决策,复合能力门槛较高
角色解读
- 可向AI产品经理专家方向发展,深耕代码大模型评测、Agent产品和数据策略体系
- 可转向大模型算法策略、数据策略或AI产品质量评估等更技术化岗位
- 长期可发展为AI产品负责人,主导代码智能体、开发者工具或企业级研发效能产品方向
- 设计并迭代代码大模型评测集,覆盖代码生成、补全、Bug修复、重构、多文件编辑和仓库级任务等真实开发场景
- 建立pass@k、单测通过率、修复成功率、任务完成率、成本与步数效率等指标,保证评测可靠、可复现、可对比
- 分析模型与Agent的推理轨迹、工具调用链和多轮日志,归因失败模式,并推动模型、数据构建和产品功能优化
- 协同工程团队建设自动化评测流水线、榜单和可视化看板,并跟踪主流代码评测基准的进展与落地价值
- 需要理解coding大模型任务的数据构造、评估方法和常见基准,如SWE-bench、LiveCodeBench等
- 需要具备数据分析和归因能力,能够从大规模日志、工具调用链和交互轨迹中提炼问题
- 需要掌握产品拆解与项目协调能力,能把评测结论转化为模型、数据、产品功能的优先级决策
- 需要较强沟通表达和owner意识,能在算法、工程、产品等多方协作中把控效果
申请策略
- 面试前建议准备一个代码大模型评测或数据策略案例,重点讲清问题定义、指标设计、归因方法和落地结果
- 关注百度在代码大模型、AI编程工具和Agent方向的产品动态,面试中可结合业务场景提出评测改进思路
- 突出与coding大模型、代码数据构造、模型评估或Agent评测直接相关的项目经历,说明你在其中的职责和产出
- 量化展示评测体系成果,例如评测集规模、指标设计、日志归因结论、模型或产品优化带来的提升
- 强调代码理解能力,包括代码生成、Bug修复、重构、多文件编辑、仓库级任务等场景经验
- 展示跨团队推进能力,尤其是与算法、工程、数据团队协作并将分析结论落地的案例
- 提前熟悉SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot等代码评测基准的评测逻辑和局限
- 补充pass@k、单元测试通过率、任务完成率、成本效率等指标设计经验,并能解释其适用场景
面试指南
- 先定义目标和场景,再说明评测集构建、指标选择、数据治理、结果验证和迭代闭环
- 归因类问题可按“现象定位—日志拆解—失败分类—影响评估—优化建议—验证指标”的结构回答
- 产品决策类问题要体现优先级判断,结合用户价值、模型可改进空间、工程成本和验证周期展开
- 如何设计一套覆盖代码生成、补全、Bug修复和仓库级任务的评测集?
- pass@k、单元测试通过率、任务完成率等指标分别适合什么场景,有哪些局限?
- 如果模型在Agent多轮工具调用中失败,你会如何从日志中归因并推动优化?
- 如何防止评测集数据污染和过拟合,保证结果可复现、可对比?
- 评测结果和用户采纳率、任务完成率、留存等业务指标之间应如何建立关联?
职位点评
薪资福利72
成长发展88
工作生活52
使命价值76
薪资福利
72中等
JD未披露薪资与福利信息,无法判断薪酬竞争力;岗位属于大模型产品与评测复合方向,通常具备较好的市场价值,但具体回报需与招聘方确认。
薪资信号未披露(AI估算:3.0千–5.5万/月)
成长发展
88较高
岗位深度参与代码大模型、Agent评测、自动化评测流水线和前沿基准落地,技术成长空间较强。JD未明确提及晋升通道或培训机制,发展性主要体现在项目内容和能力积累上。
技术前沿前沿/新兴技术
技术栈coding大模型、Agent、代码生成、代码补全、Bug修复、多文件编辑、仓库级任务、pass@k、SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot、自动化评测流水线
业务类型profit_center
工作生活
52较低
JD仅说明工作地点为北京市,未明确办公模式、弹性安排或加班情况。JD中出现“抗压能力和执行力强”,可作为工作节奏要求的有限信号,但不足以判断具体WLB水平。
工作模式未明确
办公地点未明确
加班情况JD含高强度暗示词
使命价值
76中等
岗位围绕代码大模型能力评测和开发者场景对齐,有助于提升AI编程工具的可靠性与真实可用性,技术价值较明确。JD未直接表达社会使命或公共价值导向。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
百度 的其他在招职位
相似职位推荐
自动驾驶产品经理
小马智行 · 北京市
AI 估算 · 3.5–6.5万33 分钟前发布
高级新技术产品经理
OPPO · 深圳市
AI 估算 · 3.0–5.0万37 分钟前发布
Product Manager - APO BPR
苹果 · 上海市
AI 估算 · 4.5–7.5万2 小时前发布
蚂蚁集团-商业化产品专家-北京/杭州/上海
蚂蚁集团 · 杭州市
AI 估算 · 4.5–7.5万2 小时前发布
蚂蚁集团-AI产品经理 (金融财富方向)-财富AI Lab
蚂蚁集团 · 杭州市
AI 估算 · 3.5–6.0万2 小时前发布
产品经理(游戏与广告产品方向)
心动 · 上海市
AI 估算 · 2.5–4.5万6 小时前发布
平台及用户产品事业部-产品经理-商品评价
天猫 · 杭州市
AI 估算 · 3.5–6.0万6 小时前发布
产品经理|ToB AI 智能眼镜(消防与应急)
Rokid · 杭州市
AI 估算 · 2.5–4.5万7 小时前发布
Watch Jobs