数据技术及产品部-RL Data Rubric 算法设计专家-Work

优缺点分析

角色解读

• 在RL与数据工程领域持续深化，成为解决复杂模型训练难题的技术专家
• 可以向更宏观的算法架构或技术管理方向发展，负责更大规模的模型训练平台或数据策略
• 随着经验积累，有机会参与或主导前沿AI技术的探索与落地
• 设计与优化用于训练AI模型的评分规则（Rubric）和奖励信号（Reward），确保模型学到正确的能力
• 负责训练数据的质量控制与筛选，识别并剔除会误导模型的数据（如Reward Hacking），保证数据能有效提升模型性能
• 主导一个‘设计-训练-验证’的完整技术闭环，通过实际训练结果来检验和改进自己的设计，并持续迭代
• 精通强化学习（RL）及其相关训练范式（如RFT, SFT），有独立完成模型训练闭环的项目经验
• 具备将复杂的领域知识抽象、转化为可自动执行的量化评分规则的能力，并能有效规避规则漏洞
• 熟练的Python工程能力，能够高效处理数据、与LLM交互，并能理解底层的训练框架和日志

申请策略

• 深入研究阿里巴巴在AI大模型方面的产品（如通义千问）和公开技术分享，了解其可能的技术栈和业务场景，在面试中展现你的针对性思考
• 准备一个你解决过的复杂数据或规则设计问题的完整故事，清晰阐述你的思考过程、遇到的困难及解决方案
• 详细描述参与过的RL/RFT/SFT项目，突出你在其中设计的奖励机制、数据筛选策略以及最终取得的量化效果（如模型指标提升）
• 列举处理过的大规模数据工程案例，展示你如何进行数据清洗、质量评估和自动化处理
• 强调Python编程能力，尤其是与数据处理、LLM API调用、模型训练相关的代码经验和对PyTorch等框架的理解
• 系统梳理和复习强化学习核心概念（如PPO算法），以及SFT、RFT与RL在训练阶段的区别和联系
• 深入研究当前主流的LLM评估方法与Rubric设计范式，例如在数据标注或自动评估方面的最新实践
• 实践通过Python脚本批量处理数据、调用大模型API并进行结果聚合分析的完整流程

面试指南

• 采用‘背景-行动-结果’（STAR）的结构来组织回答，确保故事清晰
• 技术问题的回答要体现深度和系统性：先拆解问题本质（如‘评分规则的核心矛盾是什么’），再阐述具体的技术方案和原理，最后说明验证方法和结论
• 对于设计类问题，展现出结构化思考能力：明确目标、定义评估维度、考虑实现路径和潜在风险
• 请描述一个你设计或优化过的Reward/Rubric，它是如何有效提升模型训练效果的？
• 在你的经验中，遇到过哪些典型的Reward Hacking案例？你是如何识别和解决的？
• 如果你要为一个新领域（如医疗问答）设计初始的RL训练数据筛选规则，你会如何思考？
• 在你的训练验证闭环中，你通常会观察哪些关键指标？当指标不达预期时，你的排查思路是什么？
• 系统回顾自己做过的相关项目，将其中的技术细节、设计思路和成果影响梳理成清晰的要点