Infra推理优化实习生

优缺点分析

角色解读

• 从实习生成长为AI Infra方向的核心工程师，掌握大规模分布式系统设计能力
• 可向AI系统架构师或技术专家方向发展，参与行业顶级会议如MLSys发表论文
• 积累高性能计算经验，未来可转型至AI芯片、云计算等前沿领域
• 负责大模型训练与推理的性能优化，包括算子优化、通信优化和显存优化等
• 参与大规模异构集群的调度、存储和监控组件的研发与改进
• 针对特定模型进行并行策略、ZeRO/FSDP等技术的实验与调优
• 扎实的计算机基础，精通C++/Python，深刻理解数据结构和算法
• 熟练使用PyTorch及至少一种分布式训练框架（如Megatron、DeepSpeed、FSDP）
• 熟练掌握CUDA编程，具备内核级优化能力，了解Transformer架构及FlashAttention等技术

申请策略

• 在简历中展示对AI Infra领域的热忱，可以附上技术博客或GitHub项目链接
• 关注米哈游的技术文章和开源项目，面试时展现对公司的了解
• 重点突出CUDA编程经验和内核优化项目，展示对计算机体系结构的理解
• 提及使用PyTorch和分布式训练框架（如Megatron）的实战经历，包括训练加速或显存优化的具体成果
• 如果有ACM/ICPC获奖或相关顶会论文，务必醒目列出
• 深入学习CUDA编程和GPU架构，可以阅读NVIDIA官方文档和GTC演讲
• 动手实现一些经典的分布式训练优化技术，如ZeRO、FlashAttention
• 了解Kubernetes和分布式存储的基本概念，进行简单的集群部署实验

面试指南

• 对于技术原理类问题，先明确核心概念，再逐步展开细节，最后举例说明应用场景
• 对于项目经历类问题，遵循STAR法则（情境-任务-行动-结果），突出个人贡献和量化成果
• 对于系统设计类问题，先分析约束条件，再提出分层或模块化的方案，并讨论权衡
• 请解释大模型训练中ZeRO优化的原理和实现方式
• CUDA中如何优化矩阵乘法？请从共享内存、bank conflict等角度说明
• 描述一次你优化深度学习模型训练性能的经历，遇到了什么问题？如何解决的？
• Transformer中FlashAttention相比标准Attention有哪些改进？
• 如果要在多机多卡环境下训练一个千亿参数模型，你会如何设计并行策略？