百度
大模型数据质检与评估工程师（Code / Agent 方向）（J105912）
大模型数据质检与评估工程师（Code / Agent 方向）（J105912）
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai编程工具
Rl环境
代码审查
大模型
强化学习
数据评估
值不值得投
81综合评分
综合评分 81
大模型核心方向、前沿技术栈、成长空间大，薪资竞争力强，具体工作节奏需确认。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1240 个在招
市场机会
选择适中
北京 · 数据标注与评测 · 33 个在招
职位详情
关于这个职位
该职位主要负责大模型代码和Agent数据的质量审核与评估，通过构建强化学习环境和评测任务，帮助大模型提升在复杂场景下的表现
你需要具备扎实的代码审阅能力和AI工具使用经验，为大模型提供高质量的数据支持
最低要求
本科及以上，计算机 / 软件工程 / AI 相关专业
能熟练阅读和评审至少一种主流语言（Python / Java / Go / JS / C++）的代码
有真实开发或代码审阅经验，能判断实现正确性、边界处理与性能问题，识别劣质或错误代码
具备 Claude Code、Codex 等 AI 编程工具的重度使用经验，有代码品味
自驱力强，能独立发现、定义并推动解决问题
善于跨团队协作沟通
对大语言模型有基础认知，有探索模型能力边界的热情
有2年以上大模型相关工作经验
工作职责
本岗位主要负责大模型代码、agent数据的质量审核、标注校验、为大模型提供高质量数据
强化学习环境：针对各种代码类型的RL 环境能够识别和修复，设计合理的奖励信号，探索不同环境设计对模型 Agent 能力的影响
补全模型的能力短板：基于真实用户数据与反馈，定位模型当前的能力缺陷，针对性构建训练环境与数据，推动模型在弱项上持续进步
评估模型的 Agent 能力：在个人擅长的方向上设计高质量评测任务，量化模型在复杂真实场景中的表现
AI 洞察
优缺点分析
优点
- 身处大模型核心研发环节，能深入接触前沿AI技术（如Agent、RL环境），技术视野广阔
- 依托海量真实用户数据与算力资源，能产出具有行业影响力的评测与优化成果
- 数据质检与评估工作有时较为繁琐，需要在海量数据中保持高度的专注和严谨
- 适合具备扎实代码功底、对大模型和Agent技术有浓厚兴趣，且注重细节、自驱力强的技术人才
缺点 / 挑战
- 大模型技术迭代极快，需要持续学习新的模型能力边界和评测方法，学习压力较大
角色解读
- 纵向可发展为资深大模型数据专家或AI评测架构师，主导模型能力评估体系的建设
- 横向可向大模型算法工程师或Agent研发方向转型，深入参与模型训练与优化
- 负责大模型代码和Agent数据的质量审核与标注校验，确保训练数据的高质量
- 设计和修复强化学习（RL）环境，探索不同环境设计对模型Agent能力的影响
- 基于用户反馈定位模型能力缺陷，构建针对性训练数据，并设计评测任务量化模型表现
- 精通至少一种主流编程语言（如Python、Java、Go等），具备出色的代码审查和边界问题识别能力
- 熟练使用Claude Code、Codex等AI编程工具，对代码质量有较高品味
- 具备大模型基础认知，了解强化学习及Agent能力评估方法
申请策略
- 在面试前准备一些劣质代码或错误代码的识别案例，展示你的代码品味和审查逻辑
- 突出在代码审查、性能优化及边界处理方面的实际项目经验，展示对代码质量的把控力
- 强调使用AI编程工具（如Claude Code、Codex）的深度经验，以及利用其提升开发效率的案例
- 列举参与大模型相关项目（如RL环境构建、数据标注、模型评测）的具体成果
- 深入学习强化学习（RL）在代码生成和Agent任务中的应用，了解Reward Model的设计原理
- 熟悉主流大模型的评测基准（如HumanEval、MBPP等）及复杂场景下的Agent评估方法
面试指南
- STAR法则：针对代码审查或问题定位，按照情境、任务、行动、结果的框架清晰展示你的技术深度和解决问题的闭环
- 技术原理+实践案例：在回答RL环境设计或评测任务时，先简述理论框架，再结合具体业务场景说明落地细节
- 请分享一个你发现并修复复杂代码边界问题的案例，你是如何判断其正确性和性能的？
- 在使用AI编程工具时，你如何评估其生成代码的质量？遇到错误代码时如何引导模型修正？
- 如果让你为一个特定的Agent任务设计强化学习环境，你会如何设计奖励信号？
- 大模型在代码生成方面常见的能力短板有哪些？你会如何构建数据来补全这些短板？
- 复习主流编程语言的底层原理、常见性能瓶颈及边界条件处理，准备几个典型的代码Bad Case
- 了解大模型在代码/Agent方向的最新进展，思考其可能的优化空间与评测难点
职位点评
薪资福利85
成长发展90
工作生活60
使命价值85
薪资福利
85较高
该岗位属于大模型核心方向，结合2年以上经验要求，薪资水平在市场上具有较强竞争力。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
90较高
岗位直接参与大模型Agent能力评估与RL环境构建，能接触到最前沿的AI技术，个人技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈大模型、Agent、强化学习、RL环境、Claude Code、Codex、Python
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与WLB信息，具体工作节奏与办公灵活性需进一步确认。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
推动大模型在复杂真实场景中的能力进步，属于AI前沿探索，具有较高的技术使命感与行业价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动模型在弱项上持续进步、探索模型能力边界
创新程度开拓性创新（行业首创）
Watch Jobs