强化学习训练框架工程师

优缺点分析

角色解读

• 可向强化学习训练系统专家方向发展，主导核心框架设计与团队
• 积累大模型训练优化经验，转型AI基础设施或技术管理岗位
• 参与开源社区贡献，成为领域知名贡献者
• 设计并优化强化学习训练框架，提升大规模模型训练效率
• 分析训练系统中的计算、通信、存储瓶颈，实施针对性优化
• 跟踪并集成MoE、异步RL等前沿训练技术，持续演进系统能力
• 扎实的Python或C++编程能力，具备良好工程基础
• 深入理解NLP/CV/多模态算法及DiT、VLM等模型架构
• 熟悉分布式训练框架（FSDP、DeepSpeed、Megatron）及强化学习算法（GRPO、DAPO）

申请策略

• 了解B站在AI内容生成（如AIGC）方面的业务布局，可在面试中展示与之相关的思考
• 突出分布式训练实战经验，包括使用的框架（FSDP、DeepSpeed等）和优化成果
• 强调强化学习算法（GRPO、DAPO）和训练框架（verl）的实际应用
• 如有开源项目贡献或大规模训练经验，务必重点展示
• 若对异步强化学习不熟悉，可提前了解Actor-Critic架构和采样效率优化
• 补充MoE、DiT等模型训练特性的理解

面试指南

• 使用STAR方法描述项目经历，突出问题、行动和量化结果
• 技术问题先阐述原理，再结合实际案例说明优化思路
• 展现对系统整体视角的理解，包括计算、通信、存储的权衡
• 请描述你在分布式训练中遇到的性能瓶颈及优化方法
• 如何设计一个高效的强化学习训练框架？请考虑异步场景
• 解释GRPO和DAPO的区别及适用场景
• 如何看待MoE在训练中的通信开销？如何优化？
• 你有过大规模模型训练的经验吗？如何保证训练稳定性？