智能引擎-多模态/世界模型基础架构研发工程师/高级专家-AI Infra

优缺点分析

角色解读

• 技术专家路线：在AI Infra领域深耕，成为分布式训练、算子优化等方向的顶尖专家
• 架构师路线：从单一模块设计走向整体系统架构，负责更大规模的AI基础设施规划
• 管理路线：带领团队负责核心AI基础设施研发，向技术管理方向发展
• 设计并实现万亿参数多模态/世界模型的分布式训练和推理框架，涉及5D并行策略、显存优化和通信计算重叠
• 针对多模态模型进行深度算子优化，包括算子融合、定制Attention和MoE算子，提升训练和推理效率
• 应用蒸馏、量化、剪枝等模型加速技术，在AIGC和实时生成场景中平衡模型效果与性能
• 作为算力基座，支撑多模态生成模型在AI创新应用中的落地，解决工业级大模型训练中的基础设施问题
• 精通C/C++和Python，具备扎实的数据结构和算法功底，熟练使用GDB、Nsight等调试性能工具
• 深入理解大模型训练推理框架和并行优化技术，有分布式训练工程经验
• 熟悉Diffusion、LLM等模型结构，掌握模型加速、量化、蒸馏算法工程
• 熟悉异构计算体系，有CUDA、Triton、Cutlass等硬件DSL编程经验

申请策略

• 关注阿里巴巴智能引擎团队的技术博客和开源项目，了解团队技术方向
• 在面试中展示对AI Infra的热情和解决复杂问题的能力
• 突出大模型分布式训练项目经验，如训练过千亿参数模型，并描述具体优化成果
• 强调C++/CUDA编程能力，展示在算子优化、性能调优方面的具体案例
• 展示对并行优化技术的理解，如5D并行、显存优化等，并说明实际应用
• 如有开源项目或技术博客，可展示技术深度
• 深入学习CUDA编程和GPU架构，掌握Nsight等性能分析工具
• 研究主流大模型训练框架（如Megatron-LM、DeepSpeed）的源码，理解并行策略

面试指南

• 先阐述基本原理，再结合项目经验，最后总结优化效果
• 使用STAR法则（情境、任务、行动、结果）描述项目经历
• 强调系统性思考，从数据、模型、硬件等多个维度分析问题
• 如何设计一个万亿参数模型的分布式训练方案？
• 如何优化Transformer中的Attention算子？
• 如何实现模型量化而不损失精度？
• 如何调试CUDA程序中的性能瓶颈？
• 谈谈你对5D并行的理解