腾讯游戏-大模型推理性能优化工程师/专家

优缺点分析

角色解读

• 在技术深度上：成为大模型推理领域的顶尖专家，主导下一代推理引擎架构
• 在横向扩展上：可转型为AI Infra架构师，负责整个训练/推理基础设施
• 在业务影响上：直接推动腾讯游戏AI应用的落地和商业化，具备高业务价值
• 与算法同学紧密合作，对大模型推理引擎进行端到端性能优化，包括LLM、VLM、DiT等模型
• 深入GPU底层，进行PD分离、低比特计算、算子融合等极致优化，提升推理速度和降低成本
• 适配主流GPU和异构AI芯片，确保大规模分布式推理系统高效稳定运行
• 精通C/C++和Python，具备出色的编码和调试能力
• 熟悉vllm、sglang、tensorrt-llm等推理框架，有大规模部署经验
• 掌握数据并行、流水线并行等并行策略，了解NVLINK、GPU RDMA通信
• 深入理解深度学习网络和算子实现，熟悉GPU体系结构

申请策略

• 在简历和面试中强调量化成果（例如：将推理延迟降低X%，吞吐提升Y倍）
• 了解腾讯游戏AI业务方向（如游戏NPC、AIGC），展示业务理解
• 突出大模型推理项目经验，包括使用的框架、优化的具体指标（延迟、吞吐、成本）
• 强调底层GPU优化经历，如CUDA编程、算子融合、量化等
• 展示并行策略和分布式系统设计能力，说明在规模部署中的角色
• 如有开源贡献（如vllm、tensorrt-llm相关PR），务必提及
• 深入学习vllm、tensorrt-llm源码，理解其架构和优化技巧
• 补强CUDA编程和GPU体系结构知识，动手实现简单算子优化

面试指南

• STAR法则：Situation、Task、Action、Result，重点突出技术难点和量化结果
• 问题拆解：先将问题分解为多个子问题（如计算、内存、通信），然后逐一优化
• 对比分析：说明不同优化方案的优劣，体现系统性思考
• 请详细介绍你参与过的大模型推理优化项目，具体做了哪些工作，取得了什么效果？
• 请解释vllm中PagedAttention的原理，以及它如何减少显存碎片？
• 如何优化一个Transformer Decoder层的推理性能？从算子、内存、并行度等角度展开
• 你如何在大规模分布式推理中平衡吞吐和延迟？请结合具体例子
• 你对GPU架构（如A100、H100）的内存层次和计算单元有何理解？如何利用这些特性优化？