强化学习训练框架工程师（火山引擎机器学习平台）-Data AML

优缺点分析

角色解读

• 技术深度上，可成为分布式训练和RL框架领域的顶级专家，影响行业标准
• 管理路径上，可带领框架研发团队，负责更大规模的技术规划与落地
• 开源社区路径上，通过贡献和影响力，成为社区核心维护者甚至技术领袖
• 设计和优化veRL强化学习训练框架，保证性能和稳定性，支持Agent等复杂场景
• 开发veOmini中LLM/DiT的训练模块，支撑Wan2.1、Qwen、DeepSeek等模型的高效后训练
• 参与开源社区建设，贡献代码、维护文档、组织社区活动，提升框架影响力
• 扎实的C/C++和Python编程能力，能高效实现和调试底层系统
• 对PyTorch有深刻理解，熟悉Profiling和性能调优，了解其底层原理
• 有大模型训练框架（如Megatron-LM、DeepSpeed）或推理框架（如vLLM）的开发优化经验
• 熟悉大规模分布式系统，精通NCCL、RPC等通信库的调优

申请策略

• 准备一个你主导的大型系统性能优化案例，用数据说明优化前后的提升
• 面试前了解火山引擎机器学习平台的产品定位和veRL框架的现状，提出建设性改进思路
• 突出在大模型训练框架（Megatron-LM、DeepSpeed等）或推理框架（vLLM等）的实际优化案例和成果
• 强调分布式系统经验，包括多机多卡通信调优、NCCL使用等具体项目
• 展示在开源社区的贡献，如PR、issue解决、文档等，尤其是热门项目
• 如果有RL相关经验，务必重点描述，这是重要的加分项
• 深入学习PyTorch源码，尤其是分布式训练和自动混合精度相关模块
• 熟悉NCCL原理和调优，实践CUDA编程和通信优化

面试指南

• 对于性能优化问题，采用“问题识别-根因分析-解决方案-效果量化”的框架，先描述现象再深入
• 对于设计类问题，先列出核心需求（可扩展性、性能、易用性），再对比现有方案，提出创新点
• 对于开源经历，强调具体贡献类型（代码、文档、社区互动）和影响力（star数、用户反馈）
• 请详细描述你在Megatron-LM或DeepSpeed中做过的性能优化工作，具体遇到了哪些瓶颈？如何解决的？
• 解释PyTorch中DDP和FSDP的区别，以及在训练大模型时如何选择？
• 如何调试和优化分布式训练中的通信瓶颈？请举例说明NCCL调优方法
• 你对veRL框架有什么了解？如果让你设计一个RL训练框架，你会考虑哪些关键设计？
• 你参与过哪个开源项目？贡献了什么？如何与社区协作？