智能引擎-大模型训练基础架构研发工程师/高级专家-AI Infra

优缺点分析

角色解读

• 技术专家路线：在AI Infra领域深耕，成为分布式训练、GPU性能优化方向的顶尖专家
• 架构师路线：主导超大规模训练架构设计，成为团队技术架构的核心决策者
• 管理路线：带领团队负责AI基础设施的研发，向技术管理方向发展
• 负责超大规模（百亿至万亿参数）大模型的分布式训练架构设计与演进，解决数千卡GPU集群的训练瓶颈
• 深入底层进行极致性能优化，手写CUDA/Triton算子，利用XLA/MLIR等编译技术挖掘GPU硬件算力
• 协同算法团队进行框架级优化，如Checkpointing、显存优化、通信Overlap，提升训练效率
• 支撑GPT、AIGC、多模态等前沿模型在业务场景中的落地，解决大规模与稳定性挑战
• 精通C/C++和Python，具备扎实的数据结构与算法功底，熟练使用GDB/Nsight等调试性能分析工具
• 深入理解大规模分布式系统，熟悉GPU集群通信机制及NCCL等通信库原理
• 熟悉异构计算体系，掌握CUDA编程、Triton、Cutlass等硬件DSL
• 精通PyTorch、JAX、Megatron-LM等主流大模型框架的内核实现，了解XLA/MLIR编译优化技术

申请策略

• 了解阿里巴巴智能引擎团队的业务方向和技术布局，在面试中展示对AI Infra领域的深入思考
• 准备一个能体现你技术深度的项目案例，详细阐述你在其中解决的关键问题
• 重点突出大规模分布式训练项目经验，尤其是千卡以上集群的优化实践
• 详细描述CUDA/Triton算子开发、性能优化的具体案例和量化成果
• 强调对PyTorch/Megatron-LM等框架内核的深入理解，以及XLA/MLIR等编译技术的应用经验
• 展示对LLM、多模态模型结构的理解，以及算法与工程协同设计的经验
• 深入学习NCCL通信库原理和GPU集群网络拓扑，理解通信瓶颈
• 动手实践CUDA/Triton算子开发，熟悉算子融合和编译优化技术

面试指南

• STAR法则：描述项目背景、任务目标、具体行动和量化结果，突出个人贡献
• 技术深度+广度：从原理层面解释技术选型，并对比不同方案的优劣
• 问题解决导向：强调分析问题的方法论和系统性思考，展示解决问题的能力
• 请详细描述你参与过的一个大规模分布式训练项目，包括架构设计、遇到的挑战和解决方案
• 如何优化一个GPU集群上的通信瓶颈？请从NCCL原理和网络拓扑角度分析
• 谈谈你对Megatron-LM或DeepSpeed中并行策略的理解，如何选择最优的并行策略？
• 如何手写一个高性能的CUDA算子？请举例说明优化过程
• 如何评估和优化大模型训练的MFU？有哪些关键指标？