百度
大模型评估PM实习生（J106665）
大模型评估PM实习生（J106665）
发布于 6 小时前实习/见习
实习生仅现场办公AI产品经理
AI产品经理
Benchmark构建
Nlp
产品经理
多模态
大模型评估
数据分析
机器学习
跨部门协作
值不值得投
74综合评分
综合评分 74
前沿大模型赛道、技术成长性强、大厂背书，工作节奏偏快，薪资为常规实习水平
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
6.0千
比AI产品经理中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1350 个在招 · 其中AI产品经理 37 个
市场机会
选择面较广
北京 · AI产品经理 · 约 190 个在招
职位详情
关于这个职位
本职位主要负责大模型落地场景的评估标准制定与量化拆解，参与自有Benchmark体系的构建与优化，提升评测的区分度与稳定性
同时对接开源Benchmark完成适配与结果分析，并与算法、产品等多团队协同，将评估体系深度融入模型迭代全流程
最低要求
良好的跨部门沟通与协作能力，具备自我驱动意识
具备计算机/机器学习/NLP/人工智能相关领域硕士及以上学历，或同等的科研/工程经验
对大模型（LLM/VLM等）的评估方法有深入理解，有benchmark构建或评测研究经验优先
具备一定开发能力（如评估脚本、自动化流程搭建），具备一定独立研究能力，能将策略方法落地到工程实践
工作职责
对大模型落地场景感兴趣，与GTM团队沟通、梳理客户场景的评估标准，做到可量化评估
参与自有benchmark的构建、优化评估方法的区分度、稳定性与公允性，涵盖通用能力、垂直领域和多模态等维度
对开源benchmark有一定了解，能够独立完成benchmark适配到评估结果分析全流程工作
与模型训练、产品、算法等多团队密切协作，推动评估体系与模型迭代紧密联动
优先资格
有benchmark构建或评测研究经验优先
AI 洞察
优缺点分析
优点
- 接触前沿大模型技术与核心业务线，技术视野开阔
- 背靠头部互联网平台，简历背书价值高
- 能深度参与AI落地关键环节，积累稀缺的评测与产品化经验
- 大模型技术迭代极快，需保持高强度学习
- 评估标准制定涉及多方博弈，协调成本高
- 适合计算机/AI相关专业硕士在读生，对大模型落地有浓厚兴趣，兼具技术理解力与产品思维的同学
缺点 / 挑战
- 实习期产出压力较大，需快速适应快节奏研发环境
角色解读
- 可向AI产品经理、大模型评测专家或算法策略方向深耕
- 积累行业标杆项目经验后，可晋升为高级产品经理或技术负责人
- 负责大模型应用场景的评估标准制定与量化拆解
- 参与内部Benchmark体系的构建与优化，提升评测的区分度与稳定性
- 对接开源Benchmark并输出分析报告
- 掌握大模型（LLM/VLM）评估方法论与主流评测基准
- 具备Python脚本编写或自动化流程搭建能力
- 拥有较强的跨部门沟通与项目推进能力
申请策略
- 提前研究百度文心大模型的公开评测报告与技术博客
- 准备1-2个关于大模型评估指标设计的思考或Demo，面试时展示技术敏感度
- 突出AI/大模型相关科研项目或实习经历
- 详细列出参与的Benchmark构建、评测脚本开发或数据分析案例
- 强调跨团队协作与独立解决问题的成果
- 系统学习主流大模型评测框架（如C-Eval, MMLU, OpenCompass等）
- 强化Python数据处理与自动化测试技能
- 补充产品需求分析与商业化落地知识
面试指南
- 采用STAR法则描述项目背景与个人贡献
- 结合具体技术指标（如准确率、一致性、人工对齐度）说明设计逻辑
- 强调以数据为依据、通过灰度测试验证方案，并建立定期同步机制化解分歧
- 请介绍你熟悉的大模型评测基准及其优缺点
- 如何设计一个兼顾区分度与稳定性的评估指标？
- 遇到算法团队与业务团队对评估标准分歧时如何处理？
- 梳理过往科研/项目中与大模型相关的完整链路
- 复习机器学习基础与Prompt Engineering技巧
职位点评
薪资福利65
成长发展92
工作生活50
使命价值78
薪资福利
65中等
实习津贴符合北京地区同类技术岗位的市场行情，但受限于实习生身份，整体薪酬回报与福利覆盖相对有限。
薪资信号未披露（AI估算：4.5–8.0千/月）
成长发展
92较高
深度参与大模型核心评估体系建设，接触前沿技术与多团队协同，成长空间极大。
技术前沿前沿/新兴技术
技术栈大模型、LLM、VLM、Benchmark、NLP、Python
业务类型profit_center
工作生活
50较低
未明确提及办公模式与工时安排，互联网大厂节奏较快，实习期可能面临较高工作强度。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
78中等
聚焦大模型落地场景与客户价值，致力于推动AI技术从实验室走向实际商业应用，具有明确的产业意义。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
百度 的其他在招职位
相似职位推荐
Watch Jobs