大模型推理部署工程师

优缺点分析

角色解读

• 成为AI系统架构专家，深入底层优化
• 向技术Leader或团队管理方向发展，带领项目
• 通过开源贡献和顶会论文，成为业界技术KOL
• 设计和优化大模型推理服务架构，包括PD分离、KV池化等前沿技术探索
• 开发AI原生网关和高可用系统，处理异构资源调度、请求限流、动态路由等核心功能
• 参与RAG系统、提示词工程优化及AIGC应用等推理上下游应用开发
• 精通Python或C++，具备出色的编码和调试能力
• 熟悉主流大模型推理引擎（如vLLM、SGLang、TensorRT-LLM）及优化技术
• 扎实的分布式系统知识，了解云计算和机器学习平台

申请策略

• 准备一个自己优化推理性能或设计系统的案例，展示解决问题的能力
• 了解京东云业务和AI Infra团队的技术方向，面试中体现匹配度
• 突出分布式系统或推理优化相关的项目经验
• 展示开源贡献（如vLLM、SGLang）或顶会论文
• 强调编程能力（Python/C++）和系统设计能力
• 学习vLLM等主流推理引擎的源码和优化技术
• 加强C++性能优化和云计算相关知识
• 了解PD分离、KV池化等前沿架构

面试指南

• 技术原理类问题：先讲核心概念，再结合实际案例说明应用效果
• 系统设计类问题：从需求分析、架构选型、关键权衡入手，逐步细化
• 项目经历类问题：使用STAR方法（情境、任务、行动、结果）结构化阐述
• 请解释PD分离和KV池化的原理及在推理中的优势
• 如何优化vLLM的推理吞吐和延迟？
• 设计一个高并发、低延迟的推理服务架构
• 描述一次你解决分布式系统性能瓶颈的经历
• 你对大模型推理未来的技术趋势有哪些看法？