多模态大模型推理算子优化工程师-Data AML（北京/上海/杭州/深圳）

优缺点分析

角色解读

• 从算子优化工程师成长为AI系统架构师，负责完整推理管线的设计与优化
• 深耕AI编译器方向（如Triton、MLIR），成为AI编译领域专家
• 横向扩展至多模态模型训练加速，成为端到端AI工程全栈人才
• 负责多模态大模型推理算子在异构卡（如NVIDIA、昇腾、寒武纪）上的加速与优化，提升模型推理效率
• 深入分析计算密集算子（如FlashAttention、Matmul）的性能瓶颈，通过手写CUDA/AscendC等内核实现极致优化
• 应用低比特量化、稀疏等压缩技术，结合Triton等DSL进行模型部署，确保业务场景下的低延迟推理
• 精通CUDA/AscendC/BangC/HIP等GPU编程，熟悉FlashAttention、Matmul等算子的实现与优化
• 深入理解计算机体系结构（内存层次、并行计算），具备AI工程系统优化经验
• 熟悉TensorRT-LLM、vLLM等推理引擎，了解ZeRO、TP等并行策略

申请策略

• 在面试中展示对具体算子的性能分析案例，例如如何分块、循环展开等
• 关注字节跳动AML团队的技术分享（如掘金、知乎），了解其技术栈和方向
• 突出AI工程系统优化项目经验，具体描述使用CUDA等语言优化算子的性能提升指标
• 列出熟悉的GPUKernel实现，如FlashAttention、Matmul等，并附上GitHub链接或技术博客
• 强调在AIGC模型推理加速或训练适配方面的实际成果
• 若未接触过AscendC或BangC，可提前学习其编程模型和工具链
• 补充Triton、TileLang等DSL的实践，以及低比特量化工具（如TensorRT量化）的使用
• 阅读业界推理引擎（vLLM、SGLang）源码，加深对系统架构的理解

面试指南

• 采用STAR法则：情境-任务-行动-结果，突出量化指标（如延迟减少X%，吞吐提升Y%）
• 技术类问题先阐述原理，再结合实践经验，最后总结适用场景和局限
• 遇到困难时，展示问题定位-假设验证-迭代优化的系统思维
• 请详细介绍一个你优化过的CUDA算子，包括性能瓶颈分析和优化手段
• 解释FlashAttention相比标准Attention的加速原理和内存节省机制
• 如何对LLM模型进行低比特量化？有哪些挑战？
• 你在异构卡适配中遇到过什么困难？如何解决？
• 请描述TensorRT-LLM和vLLM在推理调度上的主要区别