大模型和分布式推理优化实习生（日常实习）

优缺点分析

角色解读

• 从实习生成长为分布式推理领域的专家，未来可转向系统架构师或算法优化工程师
• 积累大模型部署经验后，可向AI Infra、MLOps等方向发展
• 表现优异者有机会转正，进入寒武纪核心研发团队，参与下一代AI芯片的软件栈开发
• 参与分布式推理系统的搭建与优化，为LLM/多模态模型提供高性能推理方案
• 针对大语言模型进行端到端性能优化，包括降低延迟、提升吞吐量以及精度分析
• 开发和维护LLM量化工具，支持模型部署时的精度与效率平衡
• 精通Python和C++编程语言，能够高效实现算法和系统功能
• 深入理解LLM或视觉生成模型的框架与原理，熟悉Transformer架构
• 掌握量化、kvcache、多机多卡并行等主流推理加速技术
• 了解GPU/加速卡调优、torch.compile、vllm、megatron等工具或框架者优先

申请策略

• 在简历中明确标注实习可到岗时间和持续时长，表明稳定性
• 面试前准备一个自己参与过的模型优化案例，用数据说话
• 突出LLM/多模态模型相关的项目经验，尤其是涉及推理优化、性能调优的部分
• 展示Python/C++编程能力，可附上GitHub代码仓库或开源贡献记录
• 强调分布式系统、GPU编程（如CUDA）或量化工具的使用经历
• 补全对大模型推理框架（如vllm、sglang）的理解，动手部署一个小型模型
• 学习量化技术（如GPTQ、AWQ）和分布式并行策略（张量并行、流水线并行）
• 熟悉Linux环境下的性能分析工具（如nsys、ncu）和调试技巧

面试指南

• 对于技术问题，采用“原理+方法+案例”结构：先解释核心概念，再介绍常用优化手段，最后结合自己的项目或学习经历说明
• 对于开放性问题，展示系统性思维：从问题定义、可能的方案对比、最终选择及理由、实验验证等角度回答
• 请解释大语言模型推理中的KV Cache是什么，如何优化？
• 在多GPU推理时，你会如何设计张量并行策略？
• 描述一个你优化过的模型推理项目，你用到了哪些技术，取得了什么效果？
• 如何降低LLM推理的端到端延迟？请列举至少三种方法
• 你对量化了解多少？INT8和FP16的区别及其对精度的影响？
• 复习Transformer架构细节、LLM推理流程（prefill+decode）