【提前批-大模型】大模型训练系统工程师

优缺点分析

角色解读

• 技术深耕：成为大模型训练系统架构专家，主导下一代训练框架设计
• 跨界发展：向AI算法或推理系统方向扩展，成为全栈AI工程师
• 管理路径：带领系统团队，负责大型训练集群的优化与运维
• 负责大语言模型预训练和强化学习训练框架的研发与性能优化，提升训练效率
• 与算法工程师深度合作，对算法模型和系统架构进行联合设计，实现端到端的优化
• 跟踪分布式训练、高性能计算等领域的前沿技术，并落地到实际训练框架中
• 精通C/C++和Python，能高效编写高性能计算代码
• 深入理解分布式训练框架（如DeepSpeed、Megatron）或强化学习框架原理
• 熟悉GPU计算和通信优化，有CUDA开发和性能调优经验者优先

申请策略

• 米哈游重视技术深度和创新能力，简历中可强调开源贡献或技术博客
• 提前了解米哈游在AI领域的布局，面试中展现对方向的理解
• 突出分布式训练或高性能计算相关的项目/研究经历，包括使用的框架和优化的效果
• 展示C/C++和Python编程能力，尤其是性能优化案例
• 如有CUDA开发或论文发表，务必在显眼位置列出
• 提前学习主流分布式训练框架（如DeepSpeed、Megatron）的架构和代码
• 复习CUDA编程和GPU通信优化技术，尝试写一些优化kernel
• 了解大模型训练中的常见挑战（如显存、通信瓶颈）及解决方案

面试指南

• 对于系统设计问题：先明确需求，再提出多种方案对比，最后给出推荐并分析利弊
• 对于性能优化问题：按问题定义→定位方法→解决方案→效果评估的结构回答
• 对于合作问题：强调沟通流程、接口设计、迭代验证
• 请详细解释你了解的分布式训练常用并行策略（数据并行、张量并行、流水线并行）的原理和优缺点
• 描述一个你优化过的性能瓶颈，如何定位和解决？
• Ring AllReduce的实现原理是什么？有哪些优化方法？
• 大模型训练中常见的显存优化技术有哪些？（如ZeRO、激活重计算）
• 你如何与算法团队合作进行联合优化？举例说明