Baidu logo
百度
大模型AI产品经理(J107515)

大模型AI产品经理(J107515)

发布于 2 小时前

普通员工/个人贡献者

AI 估算 · 3.0–5.5万 · AI 参考估算
中级经验
学历未注明
全职员工仅现场办公AI产品经理
AI产品经理
Agent评测
Ai产品经理
Swe-Bench
代码大模型
大模型
数据分析
数据策略
评测集构建

值不值得投

73综合评分

综合评分 73

前沿代码大模型评测岗,技术成长强,办公与生活节奏信息不明确。

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

4.3万

比AI产品经理中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 1360 个在招 · 其中AI产品经理 50 个

市场机会

选择面较广

北京 · AI产品经理 · 约 300 个在招

职位详情

关于这个职位

该岗位聚焦代码大模型与Agent能力评测,负责设计代码生成、补全、修复、重构等场景的评测集和指标体系,并通过日志分析驱动模型、数据与产品功能优化

适合具备大模型数据策略、代码任务理解和跨团队协调能力的求职者

最低要求

有过coding大模型相关数据策略经历和背景,对coding大模型任务的数据构造评估有了解

具备较强的coding大模型任务组织、拆解、协调能力
具有良好的沟通表达能力,能够抓住重点,owner意识强,对负责模块的效果把控具有主动性
踏实、心细、抗压能力和执行力强

工作职责

负责代码能力评测集的设计、构建与持续迭代,覆盖代码生成、代码补全、Bug 修复、重构、多文件编辑、仓库级任务等场景

设计科学的评测指标体系(如 pass@k、单元测试通过率、修复成功率、任务完成率、成本与步数效率等),保证评测结果可靠、可复现、可对比
建立评测数据的采集、清洗、标注与版本管理规范,防范数据污染与过拟合,确保评测集与真实开发者场景对齐
对模型与 Agent 在代码任务中的推理轨迹、工具调用链、多轮交互日志进行量化分析与归因
识别典型失败模式(如上下文丢失、工具误用、循环规划、错误修复不彻底等),输出结构化分析报告与改进建议
通过大规模日志分析,驱动模型能力、数据构建和产品功能(上下文管理、Agent 编排、长任务执行)的优先级决策
与工程团队协作建设自动化评测流水线、榜单与可视化看板,提升评测吞吐与结果透明度
建立评测结果与业务指标(用户采纳率、任务完成率、留存)之间的关联分析
跟踪 SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot 等主流代码评测基准的前沿进展,评估引入价值并本地化落地
参与内外部评测标准与报告的制定,产出有影响力的评测结论

优先资格

有过计算机和大模型专业背景的优先考虑,也欢迎算法、策略等工程技术岗位相关工作背景同学

AI 洞察

优缺点分析

优点

  • 岗位处于代码大模型与Agent评测前沿,能积累高价值的大模型产品评测和数据策略经验
  • 工作内容连接模型能力、数据建设和产品功能,视野覆盖技术路线与业务指标
  • 可接触SWE-bench、LiveCodeBench等主流基准,有助于建立行业级评测方法论
  • 跨团队协同场景丰富,适合提升复杂项目推进和结构化分析能力
  • 适合具备计算机或大模型背景、做过数据策略/算法策略/AI产品相关工作,且愿意深入代码评测与Agent能力优化的求职者

缺点 / 挑战

  • 代码任务评测场景复杂,涉及多文件、仓库级任务和Agent长链路执行,归因难度较高
  • JD明确提到抗压能力和执行力强,说明岗位可能面临较快迭代和较高结果要求
  • 需要同时理解大模型、代码开发、数据评估和产品决策,复合能力门槛较高

角色解读

  • 可向AI产品经理专家方向发展,深耕代码大模型评测、Agent产品和数据策略体系
  • 可转向大模型算法策略、数据策略或AI产品质量评估等更技术化岗位
  • 长期可发展为AI产品负责人,主导代码智能体、开发者工具或企业级研发效能产品方向
  • 设计并迭代代码大模型评测集,覆盖代码生成、补全、Bug修复、重构、多文件编辑和仓库级任务等真实开发场景
  • 建立pass@k、单测通过率、修复成功率、任务完成率、成本与步数效率等指标,保证评测可靠、可复现、可对比
  • 分析模型与Agent的推理轨迹、工具调用链和多轮日志,归因失败模式,并推动模型、数据构建和产品功能优化
  • 协同工程团队建设自动化评测流水线、榜单和可视化看板,并跟踪主流代码评测基准的进展与落地价值
  • 需要理解coding大模型任务的数据构造、评估方法和常见基准,如SWE-bench、LiveCodeBench等
  • 需要具备数据分析和归因能力,能够从大规模日志、工具调用链和交互轨迹中提炼问题
  • 需要掌握产品拆解与项目协调能力,能把评测结论转化为模型、数据、产品功能的优先级决策
  • 需要较强沟通表达和owner意识,能在算法、工程、产品等多方协作中把控效果

申请策略

  • 面试前建议准备一个代码大模型评测或数据策略案例,重点讲清问题定义、指标设计、归因方法和落地结果
  • 关注百度在代码大模型、AI编程工具和Agent方向的产品动态,面试中可结合业务场景提出评测改进思路
  • 突出与coding大模型、代码数据构造、模型评估或Agent评测直接相关的项目经历,说明你在其中的职责和产出
  • 量化展示评测体系成果,例如评测集规模、指标设计、日志归因结论、模型或产品优化带来的提升
  • 强调代码理解能力,包括代码生成、Bug修复、重构、多文件编辑、仓库级任务等场景经验
  • 展示跨团队推进能力,尤其是与算法、工程、数据团队协作并将分析结论落地的案例
  • 提前熟悉SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot等代码评测基准的评测逻辑和局限
  • 补充pass@k、单元测试通过率、任务完成率、成本效率等指标设计经验,并能解释其适用场景

面试指南

  • 先定义目标和场景,再说明评测集构建、指标选择、数据治理、结果验证和迭代闭环
  • 归因类问题可按“现象定位—日志拆解—失败分类—影响评估—优化建议—验证指标”的结构回答
  • 产品决策类问题要体现优先级判断,结合用户价值、模型可改进空间、工程成本和验证周期展开
  • 如何设计一套覆盖代码生成、补全、Bug修复和仓库级任务的评测集?
  • pass@k、单元测试通过率、任务完成率等指标分别适合什么场景,有哪些局限?
  • 如果模型在Agent多轮工具调用中失败,你会如何从日志中归因并推动优化?
  • 如何防止评测集数据污染和过拟合,保证结果可复现、可对比?
  • 评测结果和用户采纳率、任务完成率、留存等业务指标之间应如何建立关联?

职位点评

薪资福利72
成长发展88
工作生活52
使命价值76

薪资福利

72中等

JD未披露薪资与福利信息,无法判断薪酬竞争力;岗位属于大模型产品与评测复合方向,通常具备较好的市场价值,但具体回报需与招聘方确认。

薪资信号未披露(AI估算:3.0千–5.5万/月)

成长发展

88较高

岗位深度参与代码大模型、Agent评测、自动化评测流水线和前沿基准落地,技术成长空间较强。JD未明确提及晋升通道或培训机制,发展性主要体现在项目内容和能力积累上。

技术前沿前沿/新兴技术
技术栈coding大模型、Agent、代码生成、代码补全、Bug修复、多文件编辑、仓库级任务、pass@k、SWE-bench、LiveCodeBench、Terminal-Bench、Aider Polyglot、自动化评测流水线
业务类型profit_center

工作生活

52较低

JD仅说明工作地点为北京市,未明确办公模式、弹性安排或加班情况。JD中出现“抗压能力和执行力强”,可作为工作节奏要求的有限信号,但不足以判断具体WLB水平。

工作模式未明确
办公地点未明确
加班情况JD含高强度暗示词

使命价值

76中等

岗位围绕代码大模型能力评测和开发者场景对齐,有助于提升AI编程工具的可靠性与真实可用性,技术价值较明确。JD未直接表达社会使命或公共价值导向。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs