infra算法开发工程师

优缺点分析

角色解读

• 技术专家路线：深耕AI Infra领域，成为大模型推理优化方向的权威专家
• 技术管理路线：带领团队负责AI Infra平台的整体架构和演进
• 跨领域发展：向AI平台架构师或技术总监方向发展，负责更大范围的技术决策
• 设计大模型推理的异构计算架构，包括模型切分、并行策略和量化方案，并进行性能建模和TCO评估
• 主导高性能核心算子与系统级优化，解决Attention加速、MoE调度等关键路径的性能瓶颈
• 构建AI编译器与算子工具链的深度优化能力，通过TVM/MLIR实现国产芯片上的自动化性能调优
• 推动前沿技术如Speculative Decoding和KV Cache压缩的落地，并规划技术演进路线
• 扎实的计算机体系结构和高性能计算知识，熟悉GPU/NPU架构
• 精通C/C++和CUDA编程，有算子开发和优化经验
• 熟悉TVM/MLIR等编译器中间表示，具备编译器优化经验
• 了解大模型推理框架（如vLLM、TensorRT-LLM）和并行策略（如张量并行、流水线并行）

申请策略

• 在简历中量化你的优化成果，如延迟降低百分比、吞吐提升倍数
• 准备一个技术分享或博客，展示你对AI Infra的深入理解
• 突出大模型推理优化项目经验，包括具体的性能提升数据
• 强调GPU/NPU算子开发经验，特别是使用CUDA或类CUDA语言
• 展示编译器优化经验，如TVM/MLIR的使用和定制
• 提及对并行计算、分布式系统的深入理解
• 深入学习大模型推理框架的源码，如vLLM、TensorRT-LLM
• 熟悉国产芯片（如华为昇腾）的编程模型和优化工具

面试指南

• 使用STAR法则：情境、任务、行动、结果，突出你的贡献和量化成果
• 结合具体项目经验，展示你的技术深度和解决问题的能力
• 对于开放性问题，先阐述思路，再给出具体方案，最后总结
• 请描述一次你优化大模型推理性能的经历，具体采用了哪些技术？
• 如何设计一个支持高并发、低延迟的推理服务架构？
• 谈谈你对TVM/MLIR的理解，以及如何利用它们进行算子优化？
• 在国产芯片上部署大模型时，你遇到过哪些挑战？如何解决？
• 如何评估一个推理系统的TCO？