大模型推理部署工程师

优缺点分析

角色解读

• 技术深耕：成为大模型推理架构专家，领导核心组件设计与优化
• 领域拓展：向AI Infra全栈发展，覆盖训练、推理、模型服务等方向
• 管理晋升：从技术骨干逐步成长为团队技术负责人或架构师
• 设计并实现AI原生分布式推理服务架构，优化PD分离、KV池化等技术，应对高并发低延迟挑战
• 开发AI原生网关及高可用系统，涵盖异构资源调度、请求限流、动态模型路由等核心平台能力
• 参与RAG系统、提示词工程、AI模型市场等推理全栈应用实践，推动大模型落地
• 扎实的编程能力，精通Python或C++，熟悉主流大模型推理引擎如vLLM、SGLang、TensorRT-LLM
• 深入理解分布式系统、云计算、异构资源调度，有机器学习平台或中间件开发经验
• 具备系统优化思维，熟悉通信优化、容器化部署、可观测性等技术

申请策略

• 深入了解京东云AI Infra的业务场景（如零售、物流），面试中展示业务理解
• 准备系统设计题，如设计高并发推理服务架构
• 突出大模型推理引擎或分布式系统开发经验，详细描述优化成果（如吞吐量、延迟提升）
• 展示开源贡献（vLLM等）或相关论文发表，体现技术深度
• 强调编程能力、系统设计案例，可用项目或竞赛成绩证明
• 补齐推理引擎（vLLM、TensorRT-LLM）的使用与源码理解
• 学习Kubernetes、容器化部署、分布式调度等基础设施知识
• 关注PD分离、KV池化等前沿优化技术，阅读相关论文

面试指南

• 先阐明目标（高吞吐、低延迟、高可用），再分层次设计：接入层（网关、限流）、调度层（资源管理、模型路由）、执行层（推理引擎优化、通信优化）
• 针对优化问题：识别瓶颈（如显存、计算、通信），提出具体方案（如PD分离减少碎片、KV池化复用缓存），并说明trade-off
• 项目介绍使用STAR原则：情境、任务、行动、结果，突出量化成果
• 请设计一个高吞吐、低延迟的大模型推理服务架构
• 解释PD分离和KV池化的原理，以及它们如何提升推理性能？
• 你如何优化vLLM或SGLang中的一个性能瓶颈？请举例
• 如何处理推理请求的限流和动态路由？
• 你过去在分布式系统或机器学习平台项目中的具体贡献是什么？