腾讯游戏-高性能算子优化工程师/专家

优缺点分析

角色解读

• 技术深度方向：成为 GPU 计算/系统优化领域专家，推动下一代硬件适配
• 架构方向：转型为分布式训练系统架构师，设计大规模训练平台
• 管理方向：带领优化团队，主导关键技术决策
• 设计和实现大模型训练/推理所需的 GPU 算子，使用 CUDA、CUTLASS、Triton 等框架
• 对算子进行端到端性能分析，优化吞吐、延迟和显存占用
• 开发高效集合通信算子，实现计算与通信 overlap，提升分布式训练效率
• 与分布式训练、算法团队协作，将前沿硬件特性转化为实际性能收益
• 精通 C/C++ 和 CUDA 编程，有实际 GPU 算子开发经验
• 深入理解 GPU 体系结构（SM、Warp、Memory Hierarchy、Occupancy）
• 熟悉 CUTLASS、Triton 等算子开发框架，了解分布式并行原理
• 熟练使用 Nsight、nvprof 等性能分析工具

申请策略

• 关注腾讯在 AI 基础设施上的布局，在面试中展现对业务场景的理解
• 准备好一个端到端优化案例，从分析到调优的完整过程
• 突出 CUDA 实际项目经验，尤其是大模型或高性能计算相关优化案例
• 展示性能分析工具（Nsight、nvprof）使用成果，如具体优化指标
• 如果有 CUTLASS/Triton 开发经历，重点描述
• 强调分布式通信或计算通信 overlap 相关经验
• 学习 Triton 语言和 CUTLASS 模板库，准备实际 demo
• 复习 GPU 体系结构细节（如 Shared Memory bank conflict、warp divergence）

面试指南

• 对于优化题：先定位瓶颈（计算/带宽），提出假设，用工具验证，迭代改进
• 对于体系结构题：从原理出发，结合具体参数（如 Shared Memory 大小、寄存器数量）分析
• 对于设计题：给出多种方案并比较，展示 trade-off 思维
• 请描述一次使用 CUDA 优化算子的经历，你如何分析瓶颈并改进？
• 解释 GPU 中 warp 和 thread block 的关系，如何影响 occupancy？
• 如何实现一个高效的矩阵乘法 kernel？请从 memory hierarchy 角度说明
• 在大模型训练中，如何设计通信与计算 overlap 的策略？
• 比较 CUTLASS 和 Triton 的优劣，你更倾向哪个？