腾讯游戏-高性能算子优化工程师/专家

优缺点分析

角色解读

• 技术深度方向：成为GPU架构或AI编译优化专家，主导核心算子库研发
• 技术广度方向：拓展至分布式系统、模型架构协同优化，成为全栈AI系统工程师
• 管理方向：带领优化团队，负责大模型训练基础设施的整体性能策略
• 设计和实现CUDA/CUTLASS/Triton算子，加速大模型训练和推理
• 对算子进行端到端性能分析，利用Nsight等工具定位瓶颈并优化吞吐、延迟和显存
• 参与通信算子优化，设计计算与通信重叠策略，提升整体训练效率
• 与分布式训练、模型算法团队协作，解决大规模训练中的性能问题
• 精通C/C++编程，具备高质量代码工程实践能力
• 熟练掌握GPU编程（CUDA），了解GPU体系结构（SM、Warp、Memory Hierarchy等）
• 熟悉CUTLASS或Triton等算子开发框架，能独立实现算子优化
• 了解分布式并行原理，具备集合通信算子开发经验

申请策略

• 在简历中附上个人GitHub链接或技术博客，展示对GPU优化的持续学习
• 面试前了解腾讯在大模型方面的布局（如混元），在回答中体现业务理解
• 突出GPU编程项目经验，如使用CUDA/CUTLASS/Triton实现的算子优化成果
• 展示性能分析案例，用具体数据说明优化效果（如吞吐提升X倍、显存降低Y%）
• 强调C++编程功底，如有开源贡献或高性能计算相关论文更佳
• 若有大模型训练或推理相关经验，务必重点描述
• 深入学习GPU体系结构（如NVIDIA GPU架构白皮书），熟悉Occupancy、Shared Memory等概念
• 动手实践CUTLASS或Triton，尝试自己从头实现一个简单算子并优化

面试指南

• 对于性能分析类问题：先明确目标（延迟、吞吐、显存），然后使用Nsight等工具定位瓶颈（如访存、计算、warp divergence），最后针对瓶颈给出优化策略
• 对于算法设计类问题：先阐述基本原理，再提出优化方案，最后分析复杂度或trade-off
• 对于并行计算问题：强调对SM occupancy、warp调度、shared memory使用的理解，并给出具体配置建议
• 请解释GPU的Memory Hierarchy，并说明如何利用它优化矩阵乘法
• 如何诊断一个CUDA kernel的性能瓶颈？请列出你的分析步骤
• 描述CUTLASS和Triton的区别，以及各自适用场景
• 设计一个高效的AllReduce算法，考虑带宽和延迟优化
• 如何实现算子融合以减少kernel launch开销？