大模型训练系统实习生（日常实习）

优缺点分析

角色解读

• 从实习开始积累大模型推理优化经验，未来可转为正式员工或成为推理系统工程师
• 深入底层硬件优化，可向GPU/加速卡调优专家或AI编译器方向发展
• 接触业界前沿技术，有机会参与开源社区贡献，成长为技术Leader
• 参与分布式推理系统建设，为LLM和多模态模型提供高性能解决方案
• 针对大语言模型进行端到端推理性能优化，重点降低延迟和提升吞吐量
• 开展推理精度分析，优化模型精度表现
• 开发和维护量化工具，支持模型压缩与加速
• 精通Python/C++，具备扎实的编程能力
• 深入理解LLM或视觉生成模型的架构和原理，熟悉Transformer等
• 掌握量化、kvcache、多机多卡并行等推理加速技术
• 熟悉常见推理框架如vllm、sglang、Megatron等

申请策略

• 提前了解寒武纪的芯片产品线（如思元系列），在面试中展现对公司的兴趣
• 强调自己的动手能力和快速学习能力，例如通过开源贡献证明
• 突出LLM或深度学习项目经历，尤其是涉及推理优化、性能分析的内容
• 强调C++/Python的熟练度，可展示LeetCode或开源项目代码
• 如有GPU调优、量化、分布式训练相关经验，重点描述
• 展示对热门口推理框架（vllm、Triton等）的了解或使用经验
• 系统学习LLM推理优化知识，如量化算法、kvcache原理、并行策略
• 动手实践一个端到端推理优化项目，例如使用vllm部署并调优

面试指南

• 对于原理类问题，先给出定义和背景，再展开技术细节和权衡
• 对于项目经验类问题，使用STAR法则（情境、任务、行动、结果）组织回答
• 对于开放类问题，展示自己的思考过程，从多个角度分析（如精度、速度、扩展性）
• 请解释LLM推理中的kv cache原理及其优化方法
• 你如何理解量化对推理性能的影响？介绍一种量化方法
• 在多机多卡环境下，如何进行模型并行和流水线并行的权衡？
• 请描述一次你参与的性能优化项目，遇到了什么瓶颈，如何解决？
• 你对vllm、Triton等框架的熟悉程度如何？它们分别解决了什么问题？