大模型推理引擎工程师

优缺点分析

角色解读

• 从推理优化工程师向大模型架构师或技术专家方向发展
• 有机会参与核心推理平台的建设，积累大规模分布式系统经验
• 可向 AI 基础设施、云原生等方向拓展
• 负责大模型推理引擎的性能优化，包括提升吞吐、降低时延和成本
• 跟踪并借鉴业界先进推理框架，结合业务场景进行方案设计、开发与落地
• 参与推理平台的架构设计与开发，建设高性能、高可用、可观测的推理服务
• 扎实的计算机基础，精通 Python/C++ 语言
• 熟悉计算机体系结构、操作系统、并发与并行计算，理解 GPU 计算与内存层次
• 熟悉 GPU 软件栈，具备 CUDA 编程和 GPU 性能优化经验
• 熟悉主流大模型推理引擎，如 SGLang、vLLM、TensorRT-LLM

申请策略

• 关注新浪&微博的大模型业务方向，了解其技术栈
• 准备相关项目案例，展示解决问题的能力
• 突出 GPU 算子开发、CUDA 编程经验
• 强调在大模型推理引擎或深度学习框架方面的项目经历
• 展示对 KV Cache、并行策略、量化等技术的理解
• 深入学习 SGLang、vLLM 等框架源码
• 补充 GPU 性能分析工具的使用经验，如 Nsight
• 了解模型量化、MoE 等前沿优化技术

面试指南

• 从问题分析、方案设计、实施效果三个层面回答
• 结合具体数据和技术细节，突出优化思路
• 如何优化大模型推理的吞吐和时延？
• 解释 KV Cache 的作用和实现原理
• 如何设计一个高可用的推理服务？
• 介绍一个你参与过的 GPU 性能优化项目
• 复习 GPU 体系结构和 CUDA 编程
• 准备一个完整的性能优化案例