AI Infra优化工程师

优缺点分析

角色解读

• 向AI系统架构专家发展，主导大规模训练/推理平台的设计与优化
• 可转向AI编译器或芯片软件栈方向，成为底层技术领军人物
• 在京东云内部可晋升为技术Leader，带领团队攻克前沿技术难题
• 设计并优化大模型推理架构，包括模型切分、并行策略和量化方案，基于vLLM等框架实现高效部署
• 深度优化TVM/MLIR编译器，突破算子融合和内存分配瓶颈，面向国产芯片定制自动化策略
• 开发GPU/国产NPU上的高性能算子，如Flash Attention、MLA、MoE等，并构建全链路性能诊断工具
• 追踪并落地前沿技术，如Speculative Decoding、KV Cache压缩、低比特量化等，提升系统效率
• 精通至少一个AI系统方向：推理框架（vLLM/SGLang/TensorRT-LLM）、AI编译器（TVM/MLIR）、高性能算子开发
• 深入理解GPU/NPU微架构和内存层次，熟悉NCCL/HCCL及多种分布式并行范式
• 熟练使用性能分析工具如Nsight Systems、PyTorch Profiler，具备百卡集群调优经验优先
• 具备扎实的计算机体系结构、并行计算和深度学习背景，硕士及以上学历

申请策略

• 关注京东云AI Infra团队的公开技术分享或开源项目，在面试中展现对该团队的了解
• 准备一个端到端的性能优化案例，从问题分析到方案设计再到效果验证，体现系统性思维
• 突出在vLLM/SGLang/TensorRT-LLM等推理框架上的深度开发或调优经验，附上性能提升数据
• 展示TVM/MLIR相关的编译器优化项目，尤其是算子融合或代码生成方面的成果
• 强调高性能算子开发经历，特别是GPU/NPU上的大模型算子，如Flash Attention、MoE等
• 如有百卡集群调优或开源贡献经历，务必单独列出
• 如果缺乏国产芯片（如昇腾、寒武纪）经验，可提前学习其指令集和编程模型
• 深入理解一种推理框架的源码（如vLLM的调度机制），准备相关项目案例

面试指南

• 对于优化类问题：先明确目标（吞吐/延迟/成本），然后分层分析（模型结构、并行策略、算子实现、硬件特性），最后给出具体措施和预期收益
• 对于项目经验类问题：使用STAR法则（情境-任务-行动-结果），强调技术挑战、你的贡献和量化成果
• 对于设计类问题：先理清约束条件，然后提出方案并进行权衡，最后说明可扩展性和鲁棒性
• 如何优化LLM推理的吞吐量和延迟？请从模型、框架、硬件层面分别阐述
• 你在vLLM/TensorRT-LLM中做过哪些深度定制？遇到了什么挑战？
• 解释TVM/MLIR中的算子融合策略，并举例说明如何针对特定硬件优化
• 设计一个分布式训练/推理的集群调度方案，考虑通信开销和负载均衡
• 你如何排查大模型训练中的精度问题？请举例说明工具和方法