GPU推理工程师

优缺点分析

角色解读

• 从GPU算子优化到推理架构设计，成为高性能计算专家
• 深入大模型推理优化，参与行业前沿技术探索
• 发展到技术Leader或架构师方向，主导团队技术规划
• 负责营销业务中Co-Scaling推理架构升级与性能优化，支持大模型序列扩展
• 开发GPU算子和计算图编译优化，提升模型推理效率
• 跟进GPU等异构硬件前沿技术，持续完善推理加速框架
• 精通C++和Linux系统编程，具备扎实的数据结构与算法基础
• 熟练使用CUDA进行GPU性能优化，熟悉异构硬件开发
• 熟悉PyTorch/TensorFlow等深度学习框架，了解模型推理优化技巧

申请策略

• 关注腾讯的营销技术博客或开源项目，展示技术热情
• 准备一个GPU优化案例分享，体现分析问题和解决问题的能力
• 突出GPU相关的项目经验，包括CUDA编程和性能调优案例
• 展示使用PyTorch/TensorFlow进行模型部署和优化的具体项目
• 强调长序列或大模型推理优化经验，如推理加速框架使用
• 深入学习CUDA编程模型和GPU架构细节
• 掌握计算图编译工具如TVM或XLA
• 了解最新的大模型推理框架如vLLM、TensorRT

面试指南

• 结合实际项目数据，展示分析与优化过程，量化性能提升
• 比较不同方案，说明选择某种技术的理由
• 体现系统思维，考虑上下游影响
• 请介绍一个你优化GPU算子的项目，包括遇到的问题和解决方案
• 如何在Transformer解码中优化内存带宽和计算效率？
• 对比TensorRT和OpenVINO的优缺点，并说明适用场景
• 解释CUDA中的warp划分和bank conflict，如何避免？
• 如何实现长序列推理的高效缓存和显存管理？