AI Infra优化工程师

优缺点分析

角色解读

• 技术深耕方向：成为AI系统架构专家，主导推理优化核心技术
• 管理方向：带领团队负责AI基础设施平台，晋升为技术经理或架构师
• 业务拓展方向：结合京东业务场景，推动AI Infra在推荐、搜索等领域的落地
• 设计并优化大模型推理系统架构，包括模型切分、并行策略和量化方案
• 深度开发vLLM/SGLang等推理框架，实现高性能推理引擎
• 编写GPU/NPU上的高性能算子（如Attention、MoE）和集合通信算子
• 构建集群监控、调度、Profiling工具链，提升系统可靠性和效率
• 精通至少一种AI推理框架（vLLM、SGLang、TensorRT-LLM）或编译器（TVM、MLIR）
• 深入理解GPU/NPU微架构，熟悉分布式并行范式（TP/PP/EP/CP）
• 具备C++/Python编程能力，熟悉CUDA或国产芯片编程
• 有大规模集群调优经验，熟悉Profiling工具（Nsight、PyTorch Profiler）

申请策略

• 面试前熟悉京东云AI Infra的技术文章或开源项目，展示对团队技术方向的理解
• 准备一个完整的系统优化案例，从问题定位到方案实施和效果量化
• 突出在推理框架（vLLM等）或编译器（TVM/MLIR）上的开发或调优经验
• 展示高性能算子开发项目，包括性能数据（如加速比、吞吐量）
• 强调大规模集群（百卡以上）的优化案例，附上Profiling分析结果
• 提及开源贡献或技术博客，体现技术影响力
• 补充学习国产NPU（如寒武纪、昇腾）编程和优化方法
• 深入了解LLM推理的最新论文，如Speculative Decoding、KV Cache压缩

面试指南

• 对于性能优化类问题，采用'问题-分析-方案-结果'的STAR结构
• 对于架构设计类问题，先明确约束条件（模型大小、延迟要求、成本），再比较不同方案
• 对于工具使用类问题，结合实际案例说明Profiling流程和调试技巧
• 请解释vLLM中Continuous Batching的原理，如何实现高吞吐？
• 如何优化Transformer推理中的KV Cache？列举几种压缩或Offload策略
• 描述一次你调试GPU算子的性能瓶颈的经历，使用了哪些工具？
• TP和PP的优缺点是什么？在什么场景下选择EP？
• 你对MLIR的理解？如何用于算子融合？