大模型优化工程师-27届

优缺点分析

角色解读

• 从大模型推理优化入手，逐步成长为AI系统性能优化专家
• 可向分布式计算、AI芯片软件栈、MLOps等方向纵深发展
• 积累工业级落地经验，未来可担任技术负责人或架构师
• 搭建和优化分布式推理系统，支撑LLM和多模态模型的高效部署
• 针对大模型推理场景进行性能调优，降低延迟、提升吞吐量
• 分析并优化推理精度，开发量化工具，平衡精度与速度
• 参与集群环境下的多机多卡并行方案设计与实施
• 精通Python和C++，具备扎实的编程功底
• 深入理解Transformer、LLM或视觉生成模型的原理与框架
• 熟悉量化、KV Cache、张量并行/流水并行等加速技术
• 了解GPU/加速卡架构，具备性能分析工具使用经验者优先

申请策略

• 笔试环节有编程和原理题，提前刷题并复习大模型基础知识
• 关注寒武纪的芯片产品和技术路线，面试中展现对AI硬件协同的兴趣
• 突出深度学习模型的部署/优化项目经验，尤其是LLM相关
• 强调C++/Python的熟练度，可附上性能调优的实例与量化指标
• 展示开源贡献或竞赛奖项，体现技术热情与工程能力
• 如果有集群部署或分布式训练经验，务必重点描述
• 复习CUDA编程和GPU架构知识，提升底层优化能力
• 动手实现或复现一个LLM推理优化（如量化、KV Cache）的小项目

面试指南

• 按'原理-应用-实例'的结构回答，先讲清基础概念，再结合项目说明落地过程中的取舍
• 针对性能优化问题，遵循'发现问题-定位瓶颈-给出方案-验证效果'的步骤，体现系统性思维
• 讲解一下Transformer推理过程中的KV Cache是什么？如何优化？
• 量化有哪些常见方案？PTQ和QAT的区别是什么？如何选择？
• 如何对LLM推理进行性能分析？如果延迟高，你会怎么排查？
• 多机多卡并行有哪些常用策略？各自优缺点？
• 如何平衡量化后的精度损失与性能提升？
• 系统复习LLM推理优化相关技术，重点掌握量化、KV Cache、并行策略