训练平台性能优化工程师实习生

优缺点分析

角色解读

• 从训练优化实习生向高级性能工程师发展，深入GPU底层优化
• 可转向AI infra、MLSys等方向，成为系统架构师
• 发表顶会论文，进入学术界或顶级研究院
• 负责模型训练全链路的性能分析，定位瓶颈并设计优化方案
• 开发自动化训练加速工具，如混合精度训练、梯度压缩等模块
• 优化GPU集群资源调度策略，提升整体利用率和训练吞吐
• 精通PyTorch和分布式训练框架，熟悉CUDA编程及性能分析工具
• 掌握模型压缩技术（量化、剪枝、蒸馏）并有实战经验
• 了解大规模集群调度系统（如Kubernetes、Slurm）优先

申请策略

• 关注小米AI infra团队的博客或技术分享，展示对业务的了解
• 准备一个训练优化的案例，表明你如何解决实际瓶颈
• 突出深度学习训练加速项目，如混合精度、分布式训练等
• 展示CUDA编程或算子优化经验，附上GitHub链接
• 强调模型压缩或系统调优的量化成果（如吞吐提升X倍）
• 系统学习CUDA和GPU架构，熟悉nsys、NVIDIA Nsight等工具
• 阅读DeepSpeed、Megatron等开源框架源码，尝试贡献

面试指南

• 从原理入手，结合实践经验，使用STAR法则描述项目
• 先分析问题，再提出方案，最后量化效果
• 请解释分布式训练中AllReduce的原理和优化方法
• 如何分析PyTorch训练过程中的性能瓶颈？
• 简述混合精度训练的实现流程和注意事项
• 有没有做过CUDA算子优化？请举例
• 如何提高GPU集群的利用率？
• 复习分布式训练论文，如Ring AllReduce、ZeRO系列