大模型推理部署工程师

优缺点分析

角色解读

• 从推理部署工程师向AI系统架构师发展，负责更大规模、更复杂的AI基础设施设计
• 深入底层推理优化，成为GPU计算或编译器方向的专家
• 横向拓展至训练框架或算法领域，成为全栈AI工程师
• 设计并实现高吞吐、低延迟的大模型推理服务架构，探索PD分离、KV池化等优化技术
• 开发AI原生网关和推理平台核心能力，包括异构资源调度、请求限流、动态路由等
• 参与RAG、AIGC等推理全栈应用开发，推动大模型在业务中的落地
• 精通Python或C++，具备扎实的编码和调试能力
• 熟悉主流推理引擎如vLLM、SGLang、TensorRT-LLM，了解其优化原理
• 具备分布式系统、云计算或机器学习平台开发经验，理解高并发架构设计

申请策略

• 在简历中明确标注熟悉哪些推理引擎和优化技术，并附上相关项目链接或GitHub
• 面试前了解京东云AI Infra团队的公开技术分享或开源项目，展现对团队技术方向的关注
• 突出大模型推理相关的项目经验，如使用vLLM优化推理延迟、设计高并发推理服务等
• 展示对推理引擎源码的深入理解或开源贡献，如提交PR到vLLM或SGLang
• 强调分布式系统、性能优化方面的成果，如吞吐量提升、延迟降低的具体数据
• 深入学习一个主流推理引擎（如vLLM）的架构和实现，尝试理解其调度和显存管理机制
• 补充CUDA编程或GPU底层优化知识，有助于理解PD分离、KV池化等技术的原理
• 动手搭建一个简单的推理服务，结合RAG或提示词工程，将理论知识转化为实践

面试指南

• 对于原理类问题，先给出核心概念，然后结合具体实现（如源码或论文）进行阐述，最后提及优缺点或改进方向
• 对于设计题，采用结构化回答：先明确需求（吞吐、延迟、可用性），再分模块讨论（网关、调度、缓存、容错），最后总结权衡
• 请解释vLLM中PagedAttention的原理及其对显存利用的优化
• 如何设计一个高并发、低延迟的推理服务架构？请从PD分离、负载均衡等角度阐述
• 假设模型推理时出现显存溢出，如何定位和优化？
• 描述一次你优化分布式系统性能的经历，用了哪些方法？效果如何？
• 对RAG系统了解多少？如果让你设计一个RAG pipeline，关键步骤是什么？
• 复习主流推理引擎的论文和技术博客（vLLM、SGLang、TensorRT-LLM），理解关键优化点