百度
大模型智能标注与评测算法工程师（J106467）
大模型智能标注与评测算法工程师（J106467）
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Pytorch
Reward Model
Rlhf
大模型评测
数据工程
智能标注
Judge Model
值不值得投
78综合评分
综合评分 78
头部大厂大模型核心评测岗，技术前沿、薪资竞争力强，但工作节奏可能较快。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.0万
比数据标注与评测中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 1300 个在招
市场机会
选择适中
北京 · 数据标注与评测 · 35 个在招
职位详情
关于这个职位
负责大模型智能标注与评测平台的整体设计与研发，建设自动标注与评测体系，研发Judge Model和评测Agent，支撑模型选型与业务决策
最低要求
计算机、人工智能、机器学习、统计学等相关专业本科及以上学历
熟练掌握 Python、PyTorch及主流大模型应用或训练框架
熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验
熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路
理解模型偏差、一致性、置信度校准和统计显著性等基本方法
具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标
工作职责
负责大模型智能标注与智能评测平台的整体设计、研发和业务落地
建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系
设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态
研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测
建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度
建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测
识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性
支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据
优先资格
有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先
AI 洞察
优缺点分析
优点
- 处于大模型核心技术领域，技术壁垒高，发展前景广阔
- 依托丰富的业务场景和算力资源，能接触大规模模型评测与优化，技术成长空间大
- 适合对大模型底层原理有深入理解，具备扎实算法功底且对数据质量、评测体系有浓厚兴趣的算法工程师
缺点 / 挑战
- 大模型评测标准仍在快速演进，需要持续跟进前沿论文和技术，学习压力较大
- 业务抽象能力要求高，需将产品目标转化为技术指标，跨团队沟通与落地成本较高
角色解读
- 可向大模型评测专家、算法架构师方向发展，成为该细分领域的技术权威
- 也可转型为大模型业务负责人或AI产品技术专家，统筹模型迭代与业务落地
- 负责大模型智能标注与评测平台的整体设计与研发，建设自动标注与评测体系
- 研发Judge Model、Reward Model和评测Agent，支持多维度评测与校准
- 建设线上反馈驱动的自动迭代闭环，支撑模型选型与业务决策
- 熟练掌握Python、PyTorch及主流大模型应用或训练框架
- 熟悉大模型评测方法，具备Judge Model、Reward Model或评测集建设经验
- 理解模型偏差、一致性校准和统计显著性等基本方法，具备良好的业务抽象能力
申请策略
- 了解百度文心大模型的业务场景和评测痛点，准备针对性的优化方案以展现诚意与专业度
- 突出在大模型评测、Judge Model、Reward Model或RLHF相关的项目经验与落地成果
- 展示在数据工程、标注质量治理或自动标注系统建设方面的系统性设计能力
- 深入学习大模型评测的最新论文（如Pointwise/Pairwise评测、偏差分析），熟悉主流评测框架
- 提升业务抽象能力，练习如何将模糊的产品需求转化为可量化的评测标准和技术指标
面试指南
- 采用STAR法则，结合具体项目背景、技术方案设计、遇到的难点（如一致性问题、偏差问题）及最终业务收益进行结构化回答
- 如何设计一个大模型评测的Rubric？
- 在评测中如何识别和消除位置偏差、长度偏好等模型偏差？
- 如何建设自动标注与人工复核相结合的数据生产体系？
- 请介绍一个你主导的Judge Model或Reward Model的研发经验及遇到的难点
- 复习大模型评测相关的前沿论文，了解百度文心大模型的最新进展和评测体系
- 准备过往项目中解决复杂算法问题的详细技术细节，特别是数据闭环和偏差校准方面的实战经验
职位点评
薪资福利85
成长发展90
工作生活50
使命价值75
薪资福利
85较高
大模型算法工程师属于当前市场高薪岗位，头部企业提供具有竞争力的薪资和福利体系。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
90较高
处于大模型核心技术前沿，能接触大规模模型评测与优化，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈Python、PyTorch、大模型评测、Judge Model、Reward Model、RLHF、Agent
业务类型profit_center
工作生活
50较低
JD未提及工作模式和WLB相关信息，核心算法岗通常工作节奏较快。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
推动大模型技术落地，提升AI产品的可靠性和用户体验，具有较高的技术社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs