【星火X计划】面向超大尺寸通用LLM的预训练Infra工程(J13981)

优缺点分析

角色解读

• 在训练基础设施领域深耕，成为分布式系统或LLM训练优化专家，引领大规模AI基础设施架构演进
• 横向拓展至AI平台、云计算、芯片生态等方向，成为跨领域技术专家
• 在科大讯飞这样的大型AI企业，有机会参与国家级重大课题，接触真实超大规模集群，快速积累顶尖工程经验
• 负责设计并优化大模型预训练的高性能分布式训练框架，实现多维混合并行策略（数据/张量/流水线/专家并行）以平衡计算、显存和通信开销
• 保障超大规模集群（千卡/万卡）在数周甚至数月内的稳定训练，处理硬件故障、Loss Spike等异常，实现高效故障恢复与静默数据损坏识别
• 与算法团队紧密协作，针对新型模型架构进行框架层定制适配，并持续跟踪业界前沿技术，迭代优化框架性能
• 扎实的编程能力：精通Python，并熟练掌握C++或CUDA，能编写高性能工程代码
• 深度学习与体系结构理论基础：理解GPU架构、显存管理、混合精度训练（FP16/BF16/FP8）等
• 熟悉分布式训练框架或高性能计算，具备并行计算或编译优化经验
• 了解国产加速硬件（昇腾NPU、海光DCU）的软件栈和算子优化方法更佳

申请策略

• 在简历和面试中展现对预训练Infra的热情和深入思考，如分析过百亿/千亿模型训练时的性能瓶颈
• 了解科大讯飞星火大模型的技术路线，并准备1-2个关于训练稳定性或效率优化的具体想法
• 突出分布式系统或高性能计算项目经历：如设计过并行训练方案、优化过通信瓶颈、参与过大规模集群调优
• 展示底层编程能力：提供GitHub或代码片段，证明C++/CUDA的高效编码能力，以及Python的工程熟练度
• 强调与LLM训练相关的实践：如使用过PyTorch/DeepSpeed/Megatron等进行模型预训练，或写过高性能算子
• 科研与竞赛成果：如有体系结构或AI方向高水平论文、竞赛获奖（如ACM竞赛）等，务必显著列明
• 系统学习CUDA优化技术：掌握kernel编写、shared memory使用、Tensor Core编程，并尝试实现常见算子
• 阅读主流训练框架源码：如DeepSpeed、Megatron-LM、vLLM，理解其并行策略和通信机制

面试指南

• 对于系统设计类问题：先明确约束（模型尺寸、集群规模、硬件特性），然后阐述并行维度组合的思路，最后权衡计算、显存、通信的开销，可使用具体数字进行说明
• 对于故障排查类问题：采用“定位-隔离-恢复-预防”的框架，结合监控数据、日志分析、硬件状态等，体现系统性思维
• 对于底层优化类问题：从算法计算过程出发，分析瓶颈（访存/计算/通信），再针对瓶颈提出优化手段（如循环展开、向量化、使用Tensor Core等），并对比效果
• 如何在大规模分布式训练中设计混合并行策略？请以具体模型为例
• 训练过程中出现Loss Spike，你会如何排查和解决？
• 请解释CUDA中的内存层次结构，并说明如何优化一个矩阵乘法的kernel
• 同步训练与异步训练的区别？在万卡集群中如何选择？
• 如何在没有大量测试资源的情况下，评估一个训练框架的扩展性？