深度学习AI编译和推理引擎研发工程师

优缺点分析

角色解读

• 成为AI芯片软件栈专家，主导下一代推理引擎的架构设计与实现
• 向AI系统架构师方向发展，覆盖编译、运行时和硬件协同设计
• 在阿里巴巴内可横向扩展至AI平台或芯片设计团队，技术视野广阔
• 设计并实现AI芯片上的推理引擎SDK，涵盖代码生成、图优化、算子实现和运行时的全链路
• 参与大语言模型推理框架的开发与优化，进行功能实现和性能调优
• 深入底层系统，与硬件团队协作，发挥AI芯片的最大算力
• 精通C/C++编程，具备扎实的算法和数据结构基础
• 熟悉AI编译技术栈，如MLIR、TVM、TensorRT等推理软件栈
• 了解大模型推理框架（如vLLM）和GPU优化技术（CUDA、Flash Attention）

申请策略

• 准备系统设计案例，展示对推理引擎整体架构（图优化、内存管理、编译流程）的理解
• 了解阿里巴巴平头哥芯片架构（含光800等）会有加分
• 突出AI编译或推理引擎项目经验，如使用TVM、MLIR或TensorRT进行图优化或算子编写的案例
• 强调CUDA kernel优化成果，例如实现Flash Attention或自定义高性能算子并获得性能提升
• 展示大模型推理部署经验，如基于vLLM等框架的接入、性能调优或显存优化
• 补充MLIR或TVM内部机制知识，动手实践编写图优化pass或dialect
• 学习CUDA高级优化技巧（如warp shuffle、shared memory优化）和Flash Attention原理

面试指南

• 先明确问题边界，分步骤分析计算瓶颈和内存瓶颈，提出具体优化策略（如算子融合、量化、内存复用）
• 结合理论知识和实际项目经验，说明不同方案的trade-off（如精度与速度、显存与延迟）
• 强调实验验证和性能数据（如通过profiling工具定位瓶颈，对比优化前后的效果）
• 如何优化一个Transformer层在GPU上的推理性能？
• 解释MLIR的dialect和pass机制，并举例说明如何编写一个图优化pass
• 设计一个支持动态batch的大语言模型推理服务架构
• 描述Flash Attention的原理及其实现难点
• 如何减少大模型推理时的显存占用并保持吞吐？