腾讯游戏-高性能算子优化工程师/专家

优缺点分析

角色解读

• 技术深耕：成为 GPU 算子优化领域的专家，主导核心算法加速
• 架构拓展：参与分布式训练系统设计，从算子层到系统层全面升级
• 团队管理：积累经验后带领优化团队，制定技术路线和性能目标
• 设计和实现大模型训练/推理的高性能 GPU 算子，使用 CUDA、CUTLASS、Triton 等框架
• 对算子进行端到端性能分析，优化计算吞吐、延迟和显存利用率
• 参与分布式通信算子优化，实现计算与通信的重叠，提升整体训练效率
• 跟踪 GPU 架构和系统软件前沿，将新技术落地为实际性能收益
• 精通 C/C++ 编程，具备良好的工程实践能力
• 熟练掌握 GPU 编程和 CUDA 开发，熟悉 GPU 体系结构
• 熟悉并行计算原理和分布式并行训练框架
• 熟练使用性能分析工具（Nsight、nvprof 等）进行瓶颈定位与优化

申请策略

• 了解腾讯在 AI 基础设施方面的布局，面试中可展示对业务痛点的思考
• 准备好项目案例的详细技术描述，包括设计权衡和性能数据
• 突出 CUDA/CUTLASS 相关项目经验，具体描述优化成果（如吞吐提升百分比）
• 展示分布式训练或集合通信优化经历，强调计算通信 overlap 等设计
• 列举性能分析工具的使用案例，体现问题定位和解决能力
• 如果有开源贡献（如给 Triton 提 PR），务必注明
• 深入学习 GPU 架构和 CUDA 编程模型，可以阅读 NVIDIA 官方文档和 GTC 演讲
• 实践 CUTLASS 和 Triton 框架，尝试复现经典算子优化

面试指南

• 对于优化类问题：从问题背景、瓶颈分析、优化策略（如 memory coalescing、shared memory 使用、指令级并行）、最终效果（量化数据）几个方面回答
• 对于概念类问题：先给出定义，再结合实际例子说明其重要性，最后联系自身经验
• 对于比较类问题：客观分析各工具/方案的适用场景，结合自身偏好给出理由
• 请介绍一个你优化过的 GPU 算子，具体做了哪些优化？
• 解释 GPU 的 warp 调度和 occupancy 概念，如何影响性能？
• 在大模型分布式训练中，如何设计 efficient 的 all-reduce 操作？
• 请比较 CUTLASS 和 Triton 的优缺点，你更倾向于哪个？为什么？
• 如何定位一个 CUDA kernel 的性能瓶颈？请描述你的分析流程