CPG-分布式训练高级研发工程师

优缺点分析

角色解读

• 技术专家路线：深入分布式训练、GPU优化，成为大模型基础设施专家
• 架构师路线：参与系统架构设计，主导训练框架演进
• 管理路线：带领团队，负责训练平台的整体规划
• 参与分布式训练框架的核心开发，优化训练任务性能
• 支持内部大模型的预训练、微调和强化学习，提升训练效率
• 探索大语言模型在CUDA Kernel优化、训练自动调优等方向的应用
• 精通PyTorch框架，有训练优化经验
• 熟悉Megatron/DeepSpeed等分布式预训练框架
• 掌握CUDA/Triton等算子优化技术，了解混合精度训练

申请策略

• 关注滴滴在AI基础设施方面的技术博客，面试时展示对业务的了解
• 准备一个分布式训练优化案例，详细阐述思路和效果
• 突出分布式训练相关项目经验，如使用Megatron/DeepSpeed优化大模型
• 强调CUDA算子优化或混合精度训练的具体成果
• 展示对PyTorch框架的深入理解和优化实践
• 提前学习Megatron-LM或DeepSpeed源码，了解架构设计
• 练习CUDA编程和Triton使用，动手实现简单算子

面试指南

• 从系统角度分析，先定位瓶颈（计算/通信/IO），再针对性优化
• 对比不同并行策略（数据并行、模型并行、流水线并行）的优缺点
• 结合具体案例，展示问题分析-方案设计-效果验证的闭环
• 如何优化大规模Transformer模型的训练速度？
• 请解释Megatron-LM的模型并行策略？
• 你如何排查分布式训练中的通信瓶颈？
• 请描述一个你使用CUDA优化算子的例子
• 混合精度训练的原理和潜在问题是什么？