顶尖应届-大模型芯片协同设计工程师-MiMo

优缺点分析

角色解读

• 从模型算法工程师成长为软硬件协同设计专家，深入芯片与模型交叉领域
• 有机会参与自研芯片的架构定义，向技术负责人方向发展
• 积累顶会论文和工业级优化经验，成为 AI 基础设施领域的稀缺人才
• 参与大模型核心架构的设计与迭代，优化如 Attention 等关键模块，兼顾建模能力与计算效率
• 研究低比特量化、稀疏化、投机解码等推理加速技术，在模型精度与推理速度间找到平衡
• 从算子、内存访问到系统调度，进行端到端性能优化，并与自研芯片团队协作，将模型需求转化为芯片设计指引
• 扎实的大模型架构理解，熟悉 Transformer 及其变体
• 熟悉推理优化技术栈，包括量化、稀疏化、投机解码等
• 对芯片体系结构有真实兴趣，理解数据流、存储层次等基础概念
• 加分项：CUDA/Triton kernel 开发经验，或相关顶会论文

申请策略

• 提前了解小米 MiMo 项目方向，思考如何结合自身研究
• 面试时准备好展示一个从模型到性能优化完整的项目案例，体现系统思维
• 突出大模型相关项目经历，特别是模型架构改进或推理优化工作
• 展示量化、稀疏化等具体技术实践，如有开源贡献或工具开发更佳
• 体现芯片体系结构知识，如课程项目、仿真或硬件加速经验
• 如果有顶会论文或竞赛奖项，一定要重点标注
• 补充 CUDA 或 Triton 编程经验，尝试编写简单的高效算子
• 深入学习量化（如GPTQ、AWQ）和稀疏化（如SparseGPT）等最新方法

面试指南

• 先介绍概念和原理，再分析瓶颈，最后给出具体优化方案或设计思路
• 结合自己的项目经验，讲清楚问题、方法、实验结果和收获
• 对于开放性问题，展现系统思维，同时承认不确定性并提出探索方向
• 请解释大模型中的 Attention 机制，并讨论其计算瓶颈及优化方法
• 你如何理解模型量化？请比较不同量化方案的优缺点
• 描述一个你优化过的大模型推理项目，你用了哪些技术？
• 说说你对芯片架构中数据流和存储层次的理解，如何影响模型性能？
• 如果让你设计一个专用芯片来加速 Transformer，你会考虑哪些关键点？