大模型推理优化-算子与框架适配-阿里星/A Star

优缺点分析

角色解读

• 在阿里云PAI团队成长为推理优化专家，主导核心算子库和调度系统的演进
• 通过开源项目（如vLLM）建立个人技术影响力，成为行业知名专家
• 可向技术管理方向发展，带领团队攻关底层系统难题
• 负责vLLM/SGLang等开源推理引擎的底层算子优化，重点攻关高性能Attention算子，通过Triton/CUDA Graphs等编译优化提升推理性能
• 适配异构硬件（如GPU、Tensor Core、HBM、NVLink），进行算子自动调优，最大化利用硬件特性
• 与模型压缩团队合作，探索量化、剪枝、蒸馏等算法在算子层面的优化方案，并创新请求调度算法以提升系统吞吐和用户体验
• 推动云上混部署，将不同模型混合部署在异构资源池，通过调度和资源共享创新降低成本、提升资源利用率
• 扎实的C++/Python编程能力，熟悉数据结构和设计模式，能高效实现高性能算子
• 深入理解GPU架构（Tensor Core、HBM、NVLink），有CUDA/Triton编程经验
• 熟悉大模型推理引擎（如vLLM、SGLang）的架构和优化技术
• 具备学术研究能力，有AI领域顶会/顶刊论文，能推动学术和开源影响力

申请策略

• 了解阿里云PAI产品线，思考如何将你的经验与业务结合
• 准备展示你对开源社区的贡献，如GitHub项目或PR
• 突出GPU编程经验，如CUDA/Triton优化案例，量化性能提升数据
• 强调参与过推理引擎（vLLM/SGLang）或类似系统的优化工作
• 展示学术成果，如顶会论文、开源项目贡献，体现研究能力
• 强调复杂问题解决能力和团队协作经验
• 深入学习CUDA编程和GPU架构，掌握NCCL、Tensor Core等
• 熟悉vLLM/SGLang源码，了解Attention优化、PagedAttention等

面试指南

• 针对性能优化问题，采用分析瓶颈-提出方案-实验验证的框架，结合具体数据
• 针对系统设计问题，从需求出发，考虑可扩展性、成本、SLA等，给出权衡
• 针对学术与工程结合问题，强调如何将研究成果转化为实际产品，并量化收益
• 如何优化一个Attention算子的性能？请举例说明
• 你如何理解vLLM的PagedAttention？如何改进？
• 在异构硬件上做算子自动调优，你会如何设计？
• 如何设计一个请求调度算法以提升GPU利用率？
• 你如何平衡学术研究和工程落地？