面向大规模llm infra的编译优化&代码生成与高性能算子优化-阿里星/A Star

优缺点分析

角色解读

• 在AI基础设施领域深耕，成为GPU性能优化和编译优化方向的专家，主导大规模LLM推理性能的突破
• 向技术管理方向发展，带领团队负责核心推理引擎的架构设计与优化，影响公司级AI基础设施的技术路线
• 横向拓展至AI芯片、编译器、异构计算等更底层领域，成为系统架构师或技术总监
• 深入分析Deepseek、GLM、Kimi等主流大模型在NV和国产GPU上的性能瓶颈，针对关键算子进行性能优化，降低推理延迟，提升算力利用率（MFU）
• 利用AI DSL（如Triton、TileLang）推动LLM推理链路的算子融合、内核优化、自动调优与代码生成，并实现计算与通信的重叠
• 在阿里自研的LLM推理基础设施上独立验证优化效果，并推动优化方案的上线与落地
• 精通C++和Python，具备扎实的系统编程能力和性能调优经验
• 熟悉vLLM、SGLang等主流LLM推理框架，有内核开发与优化经验
• 深入理解GPU架构，具备CUDA或Triton内核开发与调优能力，熟悉算子融合、量化、MOE、FlashAttention等技术

申请策略

• 在申请时明确表达对LLM推理性能优化的技术热情，并展示对行业前沿技术（如Deepseek、GLM）的深入理解
• 可以准备一个技术博客或开源项目链接，展示你的内核优化或编译优化能力
• 重点突出LLM推理框架（vLLM/SGLang）的内核开发与优化项目，量化展示性能提升数据（如延迟降低、吞吐提升）
• 详细描述CUDA/Triton内核开发经验，特别是算子融合、FlashAttention、MOE等具体优化案例
• 如有编译优化（LLVM、Triton、TileLang）或代码生成相关经验，务必重点呈现，这是重要加分项
• 强调解决复杂性能问题的能力和攻坚克难的项目经历
• 深入学习Triton和TileLang等AI DSL的底层实现原理，并动手实践
• 研究主流LLM推理框架的源码，特别是vLLM和SGLang的kernel实现和调度逻辑

面试指南

• 回答技术问题时，建议采用STAR法则（情境-任务-行动-结果），清晰描述项目背景、你的具体职责、采取的技术方案和量化结果
• 对于优化类问题，先分析瓶颈（如内存带宽、计算利用率、通信开销），再提出针对性方案，最后说明验证方法
• 请详细讲一个你使用CUDA或Triton优化算子的项目，包括性能瓶颈分析、优化思路和最终效果
• 如何优化FlashAttention在特定GPU上的性能？请从内存访问、计算并行度等角度分析
• 谈谈你对vLLM或SGLang架构的理解，以及它们各自的优缺点
• 在LLM推理中，如何通过算子融合和计算重叠来提升MFU？
• 如果让你优化一个MOE模型在国产GPU上的推理性能，你会如何入手？
• 复习GPU架构知识（如SM、内存层次、warp调度）和CUDA/Triton编程模型