大模型推理优化工程师

优缺点分析

角色解读

• 从推理优化工程师起步，逐步深入大模型底层技术，成为性能优化专家
• 可向 AI 基础设施、系统架构方向拓展，或转向算法研究
• 在小米等大厂，可参与核心项目，快速积累经验，晋升为技术骨干或团队负责人
• 参与大模型推理框架的设计与开发，优化推理效率，涉及量化、并行计算、访存优化等技术
• 进行模型性能分析，定位并解决性能瓶颈，提升推理时延和吞吐
• 开发自动化工具和流程，简化模型部署流程，提高工程效率
• 跟踪前沿研究，探索创新方案并推动落地
• 扎实的编程基础，熟练掌握 C++/Python，具备良好的工程习惯
• 熟悉 PyTorch 等主流深度学习框架，了解机器学习基础
• 对推理优化有浓厚兴趣，了解 vLLM、SGLang 等框架，有 CUDA/GPU 编程经验者优先
• 具备模型量化、算子优化、投机采样等方向的知识或经验更佳

申请策略

• 关注小米 AI 部门的技术博客或开源项目，了解团队方向
• 在面试中展示对推理优化的热情和思考，可准备相关项目案例
• 突出C++/Python编程能力，展示相关项目代码
• 强调对 PyTorch 等框架的熟悉程度，以及任何推理优化相关项目经验
• 如果有 CUDA/GPU 编程、量化、投机采样等经验，务必重点突出
• 展示开源贡献或 GitHub 项目，体现工程能力
• 提前学习 vLLM、SGLang 等推理框架的源码，了解其优化原理
• 补充 CUDA 编程和高性能计算知识，尝试动手优化算子

面试指南

• 对于项目类问题，采用 STAR 法则：背景、任务、行动、结果，突出技术细节和量化成果
• 对于技术原理问题，先阐述基本概念，再结合具体场景分析，展示深度理解
• 对于开放性问题，展示逻辑思维，从多个维度（如算法、工程、硬件）分析
• 请介绍一个你参与过的性能优化项目，如何定位和解决瓶颈？
• 谈谈你对 vLLM 或 SGLang 的理解，它们如何提升推理性能？
• 解释一下模型量化（如 GPTQ、AWQ）的原理和优缺点
• 如何优化一个 PyTorch 模型的推理速度？
• 你如何跟踪大模型推理领域的最新进展？