Performance Software Intern, Deep Learning Libraries - 2027

优缺点分析

角色解读

• 实习转正后，可发展为深度学习库底层优化工程师或高性能计算专家
• 未来可向AI基础设施架构师、GPU编译器开发或AI芯片设计方向纵深发展
• 编写和优化GPU上的高性能计算内核，加速矩阵乘法、MoE、Attention等核心深度学习操作
• 与编译器、深度学习性能及硬件架构团队紧密合作，深入底层软硬件进行性能调优
• 遵循软件工程最佳实践，参与回归测试和CI/CD流程，确保代码质量
• 扎实的计算机体系结构基础和汇编编程经验，能够深入理解硬件特性
• 熟练掌握并行编程（如OpenMP、pthreads或CUDA），具备性能分析和瓶颈定位能力
• 优秀的C++/C编程能力，熟悉深度学习底层算子及线性代数、数值方法

申请策略

• 提前了解英伟达的CUTLASS开源项目，阅读部分源码并尝试运行示例，面试时可作为技术亮点
• 准备好解释你过去项目中如何定位性能瓶颈并实施优化的具体案例
• 突出在并行计算、GPU编程（如CUDA）或底层性能优化方面的项目经验
• 展示对计算机体系结构的深入理解，如汇编编程、缓存优化或指令级并行相关的项目
• 强调参与过的开源项目（如CUTLASS、TVM等）或相关竞赛、论文发表经历
• 深入学习CUDA编程模型及GPU内存层次结构，尝试手写并优化简单的矩阵乘法内核
• 熟悉深度学习框架底层算子实现，了解MoE、Attention等前沿模型的计算特性

面试指南

• 性能优化问题：采用“背景-瓶颈分析-优化方案-结果验证”的STAR框架，重点突出分析过程（如使用Profiler工具）和具体优化手段（如内存合并访问、减少分支）
• 底层原理问题：从硬件架构出发，结合数据流向和指令执行周期进行解释，展现对底层机制的透彻理解
• 请描述一次你优化并行程序性能的经历，你是如何定位瓶颈并提升吞吐量的？
• 解释GPU的内存层次结构（Global, Shared, Register），在编写CUDA kernel时如何优化内存访问？
• 矩阵乘法（GEMM）在GPU上是如何分块（Tiling）计算的？请简述其优化思路
• 你如何看待MoE或Attention机制在底层计算时的性能挑战？
• 复习计算机体系结构、并行计算基础，重点准备GPU架构和CUDA编程相关知识点
• 准备1-2个自己主导的性能优化项目，能够详细画出优化前后的性能对比数据和代码逻辑图