【快Star】多模态生成模型计算效率优化工程师

优缺点分析

角色解读

• 深耕计算效率方向，成为大模型推理优化专家，主导下一代架构设计
• 横向扩展至多模态生成模型的全链路优化，包括训练和推理
• 有机会发表顶级论文或推动技术落地，晋升为团队技术骨干或研究员
• 设计和实现高效注意力机制，如稀疏注意力、线性注意力、Mamba等，降低计算复杂度
• 开发低精度量化方案（FP4/INT4）并压缩KV缓存，平衡模型速度与精度
• 优化自回归模型的生成效率，通过投机推理（draft-verify）实现低开销token生成
• 扎实的Transformer和Attention机制原理，熟悉多种变种实现
• 熟练使用Triton/TileLang等高性能计算工具，具备CUDA优化经验更佳
• 精通线性代数、概率论和矩阵论，能推导和优化数学模型
• 自驱力强，对生成式模型有热情，能快速学习新技术

申请策略

• 投递时附上技术博客或GitHub项目链接，展示对计算优化的浓厚兴趣
• 面试前准备一套完整的优化思路，从问题定义到解决方案量化对比
• 突出Attention机制、量化或投机推理相关项目经历，包括实现细节和效果
• 展示编程能力：Triton/CUDA优化经验、开源贡献或高性能计算项目
• 若有顶会论文（如NeurIPS、ICLR）或相关竞赛获奖，重点标注
• 强调数学基础（线性代数、概率论）和应用场景
• 补充Triton/TileLang实践，完成一个简单的Attention优化demo
• 精读1-2篇相关顶会论文（如FlashAttention、SmoothQuant），复现核心方法

面试指南

• 先概述核心思想，再分步骤说明实现细节，最后对比性能和改进方向
• 遇到开放设计问题，先定义目标，列出候选方案，分析trade-off，给出推荐方案并说明原因
• 请解释FlashAttention的原理和优势，如何实现IO-aware优化？
• 量化后训练（QAT）中如何平衡精度和速度，如果出现精度损失怎么办？
• 投机推理中draft模型的选择策略和接收率优化方法有哪些？
• 请用Triton实现一个简单的softmax kernel，并分析性能瓶颈
• Transformer的平方复杂度限制，有哪些替代方案（如线性注意力）及其优缺点？
• 复习Transformer论文和常见变种（如Mamba、Linear Attention），准备代码复现