推理GPU性能优化专家-Seed

优缺点分析

角色解读

• 技术深耕：成为GPU性能优化领域的专家，主导AI基础设施架构演进
• 系统架构：从单一推理优化扩展到AI全链路系统设计，成为AI系统架构师
• 技术管理：积累丰富经验后可转向团队管理，带领优化团队突破性能瓶颈
• 负责字节跳动大模型推理框架的开发和优化，主要通过GPU/CUDA进行性能调优
• 结合线上实际负载，打造业界领先的高性能LLM推理引擎，降低延迟和成本
• 与算法团队紧密合作，从系统与算法联合优化的角度提升模型推理效率
• 调研和引入机器学习系统前沿技术，保持框架的先进性
• 精通C/C++和Python，具备扎实的数据结构和算法基础
• 深入理解GPU架构，精通CUDA高性能计算优化，包括并行计算、访存优化、低比特计算等
• 了解深度学习基本原理，熟悉神经网络算子，能解析PyTorch/TensorFlow模型文件
• 熟悉LLM推理引擎如TensorRT-LLM、vLLM，有大模型加速经验者优先

申请策略

• 字节跳动非常看重项目落地效果，请在简历中用量化数据（如吞吐提升X倍）展示你的贡献
• 面试前了解Seed团队的公开技术博客和会议演讲，展示你对团队研究方向的理解
• 重点突出GPU/CUDA性能优化项目，详细描述你如何通过优化计算或访存达到显著加速
• 展示C++和Python的系统编程能力，包括项目中的关键优化技巧和成果
• 如果有LLM推理或TensorRT-LLM使用经验，务必列出具体优化指标（如延迟降低百分比）
• 强调与算法团队合作的经验，体现跨团队协作能力
• 深入阅读CUDA官方文档和优化指南，掌握shared memory、warp shuffle等高级技巧
• 动手实践基于vLLM或TensorRT-LLM部署LLM，并尝试做性能调优

面试指南

• 对于优化类问题：先明确瓶颈（计算/访存），采用对应的优化策略（如减少全局内存访问、使用寄存器等），最后用profiling工具验证效果
• 对于项目描述类问题：使用STAR法则（情境-任务-行动-结果），突出量化成果和你的独特贡献
• 请解释GPU中warp和block的映射关系，以及如何通过调整grid/block大小优化性能
• 如何优化一个CUDA Kernel的访存？请举例说明shared memory、coalesced access等策略
• 描述你过去优化一个深度学习模型推理性能的具体案例，包括优化方法和效果
• 了解哪些LLM推理加速技术？如KV Cache优化、continuous batching等
• 如何实现一个高效的softmax kernel？请说明设计思路
• 复习CUDA编程模型和GPU体系结构，熟练掌握性能分析工具（nsys、ncu）