大模型和分布式推理优化实习生（日常实习）

优缺点分析

角色解读

• 可向大模型推理优化工程师或分布式系统工程师方向发展
• 积累底层AI系统优化经验，未来可转向AI芯片或高性能计算领域
• 优秀的实习生有机会转正或获得推荐信，继续深造也有扎实的技术基础
• 参与分布式推理系统的设计与实现，优化LLM/多模态模型的推理性能
• 针对大语言模型进行端到端的延迟和吞吐量优化，提升推理效率
• 开发和维护量化工具，对模型进行精度分析和性能调优
• 精通Python和C++，能够高效实现底层算法
• 深入理解LLM或视觉生成模型的框架与原理
• 熟悉量化、KV Cache、多机多卡并行等加速技术

申请策略

• 在简历和面试中展示对推理优化问题的深入思考和动手实践
• 了解寒武纪的芯片架构和软件栈，表达对公司的热情
• 突出Python/C++编程能力，展示相关项目代码质量
• 重点描述LLM或视觉模型相关项目，尤其是推理优化或量化方面的经验
• 如果有GPU调优或开源贡献经历，务必单独列出
• 提前熟悉vllm、sglang、megatron等推理框架的基本使用
• 补充学习CUDA Graph、Triton等底层优化工具

面试指南

• 对于原理性问题，先清晰解释概念，再结合实际优化方法展开
• 对于项目经验问题，使用STAR原则（情境、任务、行动、结果）描述
• 对于优化策略问题，从数学原理出发，对比不同方法的优劣，并给出选型理由
• 请解释Transformer模型中的自注意力机制，并说明如何优化推理速度
• 什么是KV Cache？如何减少其内存占用？
• 描述一下你了解的模型量化方法（如GPTQ、AWQ等）及其优缺点
• 在多机多卡环境下，如何进行分布式推理的负载均衡？
• 你有使用过vllm或类似框架的经验吗？请说说原理