大模型训练系统实习生（日常实习）

优缺点分析

角色解读

• 实习期间可深入接触大模型推理核心栈，积累分布式系统优化经验
• 表现优秀可转正或进入寒武纪其他AI研发团队
• 长期可向AI系统工程师、大模型算法工程师方向深入发展
• 参与分布式推理系统建设，优化LLM/多模态模型的推理性能（降低延迟、提升吞吐量）
• 开展端到端推理精度分析，确保模型精度满足业务要求
• 开发和维护大语言模型量化工具，支持模型压缩与加速
• 精通Python/C++编程，熟悉常见的深度学习框架（如PyTorch）
• 深入理解LLM或视觉生成模型的框架和原理，掌握量化、KVCache、多机多卡并行等加速技术
• 加分项：有GPU调优、开源贡献、LLM推理优化或集群部署经验

申请策略

• 在简历中展示对寒武纪产品的了解（如思元系列芯片），体现对公司方向的认同
• 建议附上GitHub链接或技术博客，展示技术热情和深度
• 突出Python/C++编程能力，以及相关项目（如LLM推理、分布式训练）的代码产出
• 强调对LLM/视觉模型框架的理解，可附上模型量化或推理优化的实验报告
• 提及其他GPU调优、开源贡献或集群部署经验，能显著加分
• 提前熟悉vllm、sglang、Megatron等推理框架的代码结构
• 动手实践PyTorch模型的量化和部署，理解KVCache和并行策略
• 若有条件，可尝试在个人项目中使用CUDA Graph或Triton进行算子优化

面试指南

• 对于原理性问题，先清晰定义概念，再分步骤解释实施细节，最后结合实际场景说明优缺点
• 对于项目经验问题，采用STAR法则（情境、任务、行动、结果）结构化描述，突出技术难点和解决方案
• 对于系统优化问题，先分析问题根源，再提出多种候选方案，并给出选择依据和预期效果
• 请解释LLM推理中KVCache的原理及优化方法
• 如何评估和提升大模型的推理吞吐量？可能有哪些瓶颈？
• 描述一下模型量化的常用方法（如PTQ、QAT）及其优缺点
• 你过去参与过哪些与分布式系统或推理优化相关的项目？具体角色是什么？
• 对于多机多卡并行，你熟悉哪些策略（如TP、PP、DP）？它们如何组合使用？