大模型推理优化工程师

优缺点分析

角色解读

• 深耕推理优化领域，成为Infra方向的技术专家，主导核心引擎架构设计
• 横向拓展至AI平台、分布式训练等技术方向，向系统架构师或技术Leader发展
• 结合业务需求，推动前沿技术产品化，积累跨团队影响力
• 负责AIGC大模型的推理加速，包括模型蒸馏、量化、剪枝等压缩技术的研发与应用
• 实现高性能推理引擎，优化计算图编译、动态Batching及KV Cache管理，降低延迟提升吞吐
• 跟踪前沿Infra技术如FlashAttention、FP8量化等，将新技术落地到实际业务中
• 与算法团队协作，确保推理方案在线上服务中的高效稳定运行
• 扎实的C++/Python编程能力，精通数据结构和算法，具备并发编程基础
• 熟练使用PyTorch或TensorFlow等框架，掌握算子优化、通信优化等加速技术
• 熟悉AIGC模型（VLM、Diffusion）的训练/推理流程，熟练使用TensorRT-LLM、vLLM等工具
• 了解模型压缩技术（蒸馏、量化、剪枝）并有实际优化经验

申请策略

• 面试前了解小米AI产品（如小爱同学、相机AI）的业务背景，思考推理优化如何助力
• 准备一个完整的推理优化案例，从问题分析、方案设计到效果评估，展示系统化思维
• 突出模型压缩或推理加速的项目经验，如使用TensorRT-LLM或vLLM优化具体模型的过程和收益
• 展示C++/Python高性能编程能力，如优化算子、多线程编程等
• 强调对AIGC模型（如Diffusion、VLM）的理解和实践，尤其是部署优化经验
• 如有开源贡献或技术博客，体现技术热情和钻研能力
• 深入学习TensorRT-LLM、vLLM等框架的源码，掌握其架构和优化思路
• 动手实践模型量化（如FP8/INT4）和蒸馏技术，在公开数据集上进行实验

面试指南

• STAR法则：情境-任务-行动-结果，突出量化细节和性能提升数据
• 原理+实践结合：先讲解背景原理，再结合具体项目说明是如何应用和优化的
• 对比分析：比较不同优化方案的优劣，展现技术判断力
• 请介绍一个你做的模型量化或推理加速项目，遇到了哪些挑战？如何解决？
• TensorRT-LLM中动态Batching和KV Cache管理的原理是什么？如何优化？
• 如何对大模型进行蒸馏？蒸馏和量化的区别与联系？
• 在C++层面，你如何优化一个算子的性能？请举例说明
• 如何看待FlashAttention？它在推理加速中的作用是什么？