深度学习AI编译和推理引擎研发工程师

优缺点分析

角色解读

• 从推理引擎开发到AI系统架构师，负责整个推理系统的设计与优化
• 深入AI芯片领域，成为软硬件协同设计的专家
• 在阿里巴巴内部，有机会参与多个AI项目，积累丰富的实战经验
• 设计和实现AI芯片上的推理引擎SDK，包括代码生成、图优化、算子实现与优化以及系统运行时
• 参与大语言模型推理框架的功能实现和性能优化，提升推理效率和吞吐量
• 与团队协作，解决AI推理中的技术难题，推动产品落地
• 扎实的算法基础和C/C++编程能力
• 熟悉AI编译技术栈（如MLIR、TVM、TensorRT）或推理引擎
• 了解大模型推理框架（如vLLM）和CUDA kernel优化（如Flash Attention）

申请策略

• 了解阿里巴巴AI芯片和推理引擎的业务方向
• 准备展示你对AI编译和推理优化的深入理解
• 突出C/C++编程能力和算法基础
• 强调AI编译或推理引擎相关项目经验
• 展示大模型推理或CUDA优化相关成果
• 学习MLIR、TVM等编译框架
• 深入理解vLLM等推理框架的实现
• 练习CUDA kernel优化，熟悉Flash Attention等算法

面试指南

• 用STAR法则（情境、任务、行动、结果）描述项目经验，突出你的贡献和成果
• 从系统层面分析性能瓶颈，结合具体技术方案（如算子融合、内存优化）进行回答
• 展示对技术栈的深入理解，并说明如何权衡取舍
• 请介绍一个你优化过的推理引擎或编译器的项目
• 如何优化一个Transformer模型的推理性能？
• MLIR和TVM在AI编译中各自有什么优势？
• 如何实现一个高效的Flash Attention kernel？
• 你如何与团队协作解决性能瓶颈？