阿里巴巴
研究型实习生 - 大模型 Rubrics 评测与奖励建模算法
研究型实习生 - 大模型 Rubrics 评测与奖励建模算法
发布于 大约 14 小时前实习/见习
北京市 / 杭州市
无经验要求
实习生
仅现场办公
博士
人工智能
Agentic
Llm
Llm-As-Judge
Pytorch
Reward Model
Rlhf
Rubric
数据评测
深度学习
AI 估算 · 6k–10k
职位详情
关于这个职位
这是一个面向博士生的研究型实习岗位，核心方向是大模型评测与奖励建模
你将参与设计Rubric评测体系，训练和微调Reward Model，并探索如何利用Rubric信号优化强化学习流程，以提升模型与人类偏好的对齐度
该岗位学术氛围浓厚，有发表顶会论文的机会
最低要求
计算机、人工智能、统计等相关专业在读博士
熟练 Python 与 PyTorch，能独立完成数据处理、训练脚本编写与实验分析
扎实的机器学习与深度学习基础，熟悉 LLM 的 Post-Training 范式（SFT / RLHF / RLVR / DPO 至少了解其一）
有模型评测、奖励模型训练相关经验，了解 RL 训练的常见方法和挑战，对高质量数据有极高的敏锐度，能通过实验快速验证数据配比对模型能力的影响并总结为方法论
对"如何定义好坏"这类评价问题有兴趣与判断力，做事细致，能耐受大量对照实验
工作职责
面向开放式与 Agentic 任务，设计和迭代 Rubric 体系：原子化准则拆分、意图对齐、难度/区分度校准、必需项/加分项/惩罚项的分层评分：
（1）把 Rubric 转化为奖励信号，训练 / 微调 Reward Model 与 Verifier，接入 SFT + RL 流程
分析并抑制 reward hacking 与奖励过度优化
（2）构建与优化 Rubric-based 评测流水线（LLM-as-Judge / rubric coverage / ensemble judge），持续提升与人类标注的一致性（相关系数、ICC、偏好一致率）
（3）搭建评测与训练的数据闭环：日志回流、合成 query、Rubric 自动/半自动生成、短板数据反馈
（4）复现前沿论文方法并做对比实验，沉淀可复用的评测基准与 baseline，产出实验报告
探索 Rubrics 在 RL 训练中的动态演化，识别并缓解 reward hacking
研究评分项权重分配与聚合策略，提升自动打分与人类偏好的排序一致性
参与 Rubrics 自动生成方法研究，实现从任务描述与少量样本推导结构化评分标准的能力，解决条目覆盖度、正交性与可判定性问题
优化 Judge 模型的判定稳定性，降低位置偏好、长度偏好与随机波动，并控制推理成本
在评测打分、训练样本筛选、RL 奖励信号三个下游场景完成验证实验，参与基准数据集建设与论文撰写
优先资格
做过 Rubric-based / LLM-as-Judge 评测，或 Reward Model / Verifier 训练
了解 rubric 评分制的对齐研究（如 0–5 分制与人类标注一致性）
熟悉 reward hacking / reward over-optimization 的成因与缓解（verifier failure、rubric-design 缺陷、KL 约束下高奖励区误差放大等），并有实操经验
了解自适应 / 自动 Rubric 生成、置信度加权评估、rubric 蒸馏（免 judge 调用）等方向
熟悉主流评测基准与方法论（如 HealthBench、ResearchQA、PaperBench 等 rubric-based benchmark）
有 Agentic / Agentic Search 训练或评测经验，理解 Trajectory 质量（工具调用效率、指令遵循、回复相关性）
AI 洞察
优缺点分析
优点
- 平台资源丰富，阿里巴巴拥有强大的计算资源和海量数据，为实验和研究提供了优越的条件
- 团队研究氛围浓厚，有机会与领域内顶尖的科学家和工程师合作，并发表高水平论文
- 实习薪资在行业内具有竞争力，且有机会获得转正offer
- 对学术背景和编程能力要求极高，需要具备扎实的机器学习和深度学习基础
- 大模型评测与对齐领域发展迅速，需要持续学习，保持知识更新
- 适合对大模型对齐、模型评测有浓厚兴趣，具备扎实研究能力和动手能力的在读博士
缺点 / 挑战
- 技术前沿性极强，专注于大模型对齐与评测这一核心领域，能接触到最顶尖的技术挑战
- 工作内容以研究为主，需要大量阅读论文、复现实验，对耐心和自驱力要求较高
角色解读
- 在实习期间，可以深入掌握大模型对齐、评测和奖励建模的前沿技术，积累宝贵的实践经验
- 表现优秀者有机会获得转正机会，在阿里巴巴内部继续从事大模型研究，成为该领域的专家
- 该岗位的研究成果有机会在NeurIPS、ICLR等顶会发表，为未来的学术或工业界职业发展奠定坚实基础
- 设计并迭代用于评估大模型输出质量的Rubric评分体系，包括原子化准则拆分、难度校准和分层评分规则
- 将Rubric转化为奖励信号，训练和微调Reward Model，并集成到SFT和RLHF流程中，以提升模型与人类偏好的对齐度
- 构建和优化基于LLM-as-Judge的评测流水线，分析评测结果与人类标注的一致性，并持续改进评测方法
- 探索Rubric在强化学习训练中的动态演化，研究并缓解奖励模型中的reward hacking问题
- 熟练掌握Python和PyTorch，能够独立完成数据处理、模型训练和实验分析
- 扎实的机器学习与深度学习基础，深入理解LLM的Post-Training范式（如SFT、RLHF、RLVR、DPO）
- 具备模型评测或奖励模型训练经验，对数据质量有敏锐的洞察力，并能通过实验验证数据配比的影响
- 对评价类问题有浓厚兴趣，具备严谨的实验设计能力和细致的工作态度
申请策略
- 在申请时，可以附上一份对当前大模型评测方法的分析或改进思路，展示你的研究潜力
- 关注阿里巴巴达摩院或相关技术团队的博客和开源项目，了解团队的技术方向
- 重点突出你的博士研究方向，尤其是与LLM、RLHF、模型评测相关的项目经历
- 详细描述你使用Python和PyTorch进行模型训练和实验分析的具体案例，突出你的动手能力
- 如果有顶会论文、高质量开源项目或知名比赛经历，务必在简历中显著位置呈现
- 强调你对数据质量的敏锐度和对实验细节的把握能力
- 提前复习RLHF、DPO等Post-Training范式的原理和实现细节
- 深入研究LLM-as-Judge、Reward Model等评测与奖励建模方法，并尝试复现相关论文
面试指南
- 回答技术问题时，可以遵循'背景-方法-实验-结论'的结构，清晰阐述你的思路和结果
- 对于开放性问题，可以先拆解问题，再给出你的设计思路，并说明权衡取舍
- 在回答时，尽量结合具体案例或实验数据，展现你的实践能力
- 请详细介绍一下你过去参与的模型评测或奖励模型训练项目，你遇到了哪些挑战？
- 谈谈你对reward hacking的理解，以及有哪些有效的缓解策略？
- 如果让你设计一个针对Agentic任务的Rubric，你会如何考虑其原子性和可判定性？
- 如何评估一个LLM-as-Judge的评测结果是否可靠？有哪些潜在的偏差？
- 你如何理解RLHF中的奖励过度优化问题？在实际操作中如何避免？
职位点评
64
综合评分
前沿技术、学术氛围浓厚，但工作强度大、WLB一般。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
更适合这类人
该职位最适合那些追求技术前沿、渴望在学术或技术上取得突破，并愿意为此投入大量时间和精力的在读博士。
表现最好
成长发展
相对薄弱
工作生活
薪资福利50
成长发展95
工作生活40
使命价值70
薪资福利
50较低
实习岗位薪资在行业内属于中上水平，但作为实习生，薪资和福利的稳定性不如全职员工。
薪资信号未披露（AI估算：6K-10K/月）
成长发展
95较高
该岗位处于大模型对齐与评测这一前沿领域，技术含量极高，能接触到最前沿的研究课题，对个人技能和学术成长有巨大帮助。
技术前沿前沿/新兴技术
技术栈LLM、RLHF、Reward Model、LLM-as-Judge、Rubric、PyTorch
成长机会论文撰写
业务类型ambiguous
工作生活
40较低
岗位要求在北京或杭州现场办公，未提及弹性工作或远程办公，且研究型岗位可能需要投入较多时间进行实验，工作生活平衡性一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
该岗位致力于提升大模型的能力和可靠性，对推动AI技术发展有积极意义，但更侧重于技术实现，社会影响力相对间接。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs