【星火X计划】面向超大尺寸通用LLM的预训练Infra工程(J13799)

优缺点分析

角色解读

• 技术专家方向：深入训练基础设施领域，成为分布式训练与性能优化方向的顶级专家
• 架构师方向：主导大规模训练平台的架构设计与演进，成为系统架构的决策者
• 管理方向：随着经验积累，可带领Infra团队，负责更广泛的AI基础设施战略
• 设计和优化大规模分布式训练框架，针对万亿参数模型实现多维混合并行策略（数据/张量/流水线/专家并行）的高效调度
• 联合平台团队保障千卡/万卡级集群在数周长周期训练中的稳定性和可靠性，处理硬件故障、性能抖动等工程问题
• 与算法团队紧密协作，针对新模型架构进行框架层的定制适配，并持续跟进业界前沿技术迭代自有训练系统
• 进行性能瓶颈分析，实施算子优化、混合精度训练等方案，充分挖掘GPU/国产芯片的算力潜力
• 扎实的编程功底：熟练掌握Python，精通C++或CUDA之一，能编写高质量高性能代码
• 深度学习框架知识：熟悉主流LLM训练框架（如PyTorch、Megatron、DeepSpeed等），理解分布式训练原理
• 并行计算和体系结构：理解GPU架构、CUDA优化，了解国产加速硬件（昇腾NPU、海光DCU）软件栈
• 问题解决能力：具备定位复杂系统中性能瓶颈和稳定性问题的能力，良好的团队协作与自驱力

申请策略

• 在申请中强调对星火大模型的兴趣和了解，展现对AI基础设施的热情
• 建议提前熟悉科大讯飞的业务和技术栈，在面试中体现对预训练基础设施挑战的思考
• 突出分布式训练、并行计算相关的项目经历，如深入参与过大规模模型训练或高性能算子开发
• 强调编程能力，展示C++/CUDA的高质量代码实现，附上GitHub或技术博客更佳
• 如果参与过开源框架（如PyTorch、DeepSpeed）贡献，会大大加分
• 体现竞赛或科研实力，如挑战杯、ACM、论文等，证明学习能力
• 提前学习Megatron-LM、DeepSpeed等主流分布式框架的源码，理解其并行策略实现
• 掌握CUDA优化技巧，熟练掌握NVIDIA Nsight等性能分析工具

面试指南

• 对于技术问题，使用STAR法则（情境、任务、行动、结果）结构化回答，突出你的工程决策和量化成果
• 涉及原理问题时，先阐明核心概念，再结合自身理解给出实际应用中的权衡
• 对于开放性问题（如故障定位），展示系统性思考：从现象入手，分层排查，结合监控数据和日志，最后给出预防措施
• 请介绍一个你参与过的分布式训练项目，遇到过哪些挑战？如何解决的？
• 数据并行、张量并行、流水线并行各自的优缺点和适用场景是什么？
• 如何诊断和解决大规模训练中的Loss Spike问题？
• 请解释混合精度训练的原理，以及FP16和BF16的区别
• 如何优化CUDA kernel的显存带宽利用率？