腾讯游戏-大模型推理性能优化工程师/专家

优缺点分析

角色解读

• 从推理优化工程师逐步成长为AI系统架构专家，负责整个推理平台的架构设计
• 可转向AI芯片设计或编译器优化方向，连接硬件与算法，成为全栈AI系统人才
• 也可深入算法领域，转型为模型压缩或量化算法研究员，推动模型端侧部署
• 与大模型算法团队紧密协作，针对LLM、VLM等模型进行推理性能优化，包括算子融合、低精度量化等
• 设计并实现高效的分布式推理系统，利用PD分离、并行策略提升吞吐量和降低延迟
• 适配多种GPU和AI芯片，进行底层性能调优，确保模型在不同硬件上高效运行
• 精通C/C++和Python，具备优秀的代码能力和调试技巧，能够进行底层性能分析
• 熟悉主流推理框架（如vLLM、TensorRT-LLM）的部署与优化，有大规模集群经验
• 了解并行计算原理和GPU架构，熟悉CUDA、NCCL等编程工具，能进行算子级优化

申请策略

• 面试前准备一个完整的推理优化项目案例，从问题定位到方案实施、收益量化，条理清晰
• 关注腾讯游戏AI部门的技术博客或开源项目，了解其技术栈和关注点，在面试中展现匹配度
• 重点突出大规模分布式系统的性能优化经历，如通过算子融合、并行策略等提升推理效率的具体案例
• 展示对主流推理框架的深入使用和二次开发经验，包括vLLM、TensorRT-LLM等
• 体现GPU编程和底层调优能力，如CUDA优化、NCCL通信优化等，附上性能提升数据
• 若缺少框架深度，建议动手阅读vLLM源码，理解其调度和内存管理机制
• 补充GPU体系结构和CUDA优化知识，可通过在线课程或实践项目积累
• 了解大模型架构（如Transformer、DiT）的算子特点和瓶颈，提高联合优化能力

面试指南

• STAR方法：描述场景、任务、行动和结果，突出量化收益和技术深度
• 系统思维：从全局出发，权衡性能、成本和复杂度，展示架构设计能力
• 对比分析：解释不同优化方案的优缺点，体现决策依据
• 请介绍你过去在大模型推理优化中遇到的最大挑战，以及你是如何解决的？
• 如何设计一个高吞吐的LLM推理服务？请从模型并行、调度策略、显存管理等方面阐述
• 你对vLLM的PagedAttention机制了解多少？它解决了什么问题？
• 在GPU上优化一个Attention算子，你会从哪些维度入手？请举例说明
• 如何评估一个推理优化方案的成本收益？你通常用什么指标衡量？