【星火X计划】面向超大尺寸MoE的大EP推理工程优化(J14505)

优缺点分析

角色解读

• 深耕分布式推理系统，成为领域内的技术专家或架构师
• 转向AI系统整体架构设计，或负责更大规模的集群优化项目
• 通过学术论文输出和开源贡献，在业界建立影响力
• 优化超大规模MoE大模型的专家并行推理性能，解决通信拥塞和负载均衡难题
• 设计多并行维度协同调度策略，提升GPU集群资源利用率
• 搭建自动化评测平台，验证并迭代分布式推理技术方案
• 协同跨团队推进技术落地，支撑公司大模型业务的高效部署
• 具备扎实的深度学习、分布式系统和并行计算理论基础
• 精通MoE模型原理、推理框架（如vLLM、TensorRT-LLM）和分布式通信（如NCCL）
• 熟练使用C/C++或Python进行高性能系统开发与优化
• 拥有独立问题建模、实验验证和跨团队协作能力

申请策略

• 仔细研究科大讯飞星火大模型的技术架构与公开进展，在面试中展现针对性思考
• 准备一个能清晰阐述的、涉及性能优化或分布式系统的个人项目案例
• 突出与MoE、分布式训练/推理、高性能计算相关的项目、论文或开源贡献
• 详细描述使用C++/Python优化系统性能、调试大规模集群的具体经验
• 强调解决复杂技术难题（如通信优化、负载均衡）的思路与成果
• 深入学习MoE路由算法、专家并行（EP）和All-to-All通信优化技术
• 实践vLLM、TensorRT-LLM等主流推理框架，并尝试进行二次开发或性能分析
• 加强分布式系统设计、高性能网络（如RDMA）和调度算法方面的知识储备

面试指南

• 采用“问题定义-挑战分析-解决方案-验证效果”的结构来组织回答
• 结合具体技术细节（如通信算法、调度策略）和项目经验，用数据或案例支撑观点
• 体现系统思维，说明你的方案如何在整体推理框架中协同工作
• 请解释MoE模型中专家并行（EP）的原理及其面临的主要挑战
• 如何设计一个动态负载均衡策略来解决MoE推理中的专家访问不均衡问题？
• 当EP规模扩展到128以上时，All-to-All通信拥塞该如何优化？
• 请分享一个你优化过分布式系统性能的项目，遇到了什么困难，如何解决的？
• 你认为TP、EP、PP多并行维度协同调度的关键点是什么？