京东
大模型推理工程师
大模型推理工程师
发布于 大约 18 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Ai Infra
云原生
低延迟
分布式系统
大模型
异构计算
推理优化
监控
高并发
值不值得投
74综合评分
综合评分 74
前沿技术栈、高技术挑战、薪资有竞争力但WLB未明示。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
50K
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1710 个在招 · 其中机器学习工程 14 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 360 个在招
职位详情
关于这个职位
该职位为京东云AI Infra团队的大模型推理工程师，负责规划高并发低延迟的分布式AI推理架构，研发核心算法，构建高可用推理平台与网关系统，并保障服务稳定运行
核心目标是高效支撑京东集团内外部大模型业务及智能体应用
最低要求
具备AI推理服务全链路建设经验，熟悉云原生场景下大规模AI服务的架构设计与线上运营
能够设计并实现支撑高并发低延迟的分布式推理架构，掌握PD分离、KV池化、通信优化等关键技术路线
具备AI推理平台核心能力建设经验，能处理异构资源调度、流量治理、服务稳定性保障等复杂技术难题
拥有系统性问题洞察能力，能从复杂系统故障与性能瓶颈中定位架构缺陷，做出准确技术决策
具备前沿技术探索与实施能力，能引入并验证业界先进推理优化方案，推动技术边界突破
符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信
工作职责
规划AI云推理服务技术演进方向，设计支撑高并发低延迟的分布式推理架构
研发核心算法解决业务痛点，完成从模型设计到上线验证的全流程工作
构建AI原生网关及高可用系统，实现异构资源调度、智能路由与系统可观测性
建立巡检告警与全链路监控机制，保障推理服务持续稳定运行
AI 洞察
优缺点分析
优点
- 业务场景明确且规模巨大（京东集团内外部），技术成果能直接转化为商业价值，成就感强
- 身处京东云核心AI团队，接触顶尖技术人才和丰富资源，平台和技术视野广阔
- 技术门槛高，要求具备分布式系统、性能优化、AI框架等多方面的深厚知识和实战经验
- 系统复杂性高，推理平台需要兼顾性能、成本、稳定性和业务灵活性，对架构设计能力是巨大考验
- 适合具备扎实分布式系统与AI推理优化经验，追求技术深度，乐于解决高难度工程问题，并希望在大业务场景中验证技术价值的资深工程师
缺点 / 挑战
- 技术挑战高，直接参与业界前沿的大模型推理优化工作，能快速积累稀缺的高端技术能力
- 需快速响应业务需求并处理线上复杂问题，对个人的问题解决能力和抗压能力要求较高
角色解读
- 技术专家路线：深耕AI推理与系统架构，成为特定领域的顶尖技术专家或架构师
- 技术管理路线：随着经验积累和影响力扩大，可带领团队负责更复杂的平台或业务方向
- 前沿探索路线：持续追踪并落地业界最先进的推理优化技术，推动技术边界，影响行业标准
- 负责设计与实现高并发、低延迟的大模型推理系统架构，解决分布式环境下的核心性能瓶颈
- 深入优化推理算法与调度策略，包括模型并行、显存管理（KV池化）、通信优化等关键技术
- 构建和维护AI推理平台的核心组件，如网关、资源调度器、监控告警系统，保障服务高可用
- 针对线上复杂故障进行根因分析与架构改进，确保大模型服务持续稳定运行
- 精通AI推理服务全链路技术栈，具备从架构设计到线上运营的完整项目经验
- 掌握分布式系统与云原生技术，能设计并实施高并发、低延迟的推理架构方案
- 熟悉大模型推理核心技术，如PD分离、KV cache管理、通信优化等
- 拥有出色的问题分析与系统调优能力，能应对复杂系统故障与性能挑战
申请策略
- 研究京东云的产品和解决方案，特别是大模型服务相关的技术博客和案例，理解其业务痛点和技术方向
- 面试准备中，准备1-2个你主导的、涉及性能瓶颈分析和架构优化的复杂项目案例，并能清晰阐述技术决策过程
- 重点突出负责过的大规模AI推理或训练平台项目，具体描述所解决的性能、并发或成本问题
- 详细列举在分布式系统、性能调优、云原生架构方面的具体技术栈和实践经验
- 用数据量化技术成果，例如推理吞吐提升百分比、延迟降低倍数、成本节约比例等
- 展示对推理优化技术（如vLLM、TensorRT-LLM、PagedAttention等）的深入理解或实践
- 系统学习和实践最新的大模型推理框架（如vLLM、TensorRT-LLM）及其优化原理
- 深入研究分布式推理架构设计，包括模型并行、流水线并行、专家并行等技术
面试指南
- 使用STAR法则（情境、任务、行动、结果）结构化描述项目经验，重点突出技术难点、你的决策和最终量化收益
- 从技术原理、工程实现、实际效果三个层面阐述对优化技术的理解，最好能结合具体代码或配置案例
- 遵循“监控-定位-分析-解决-预防”的系统化问题排查思路，并强调从单点问题到架构优化的闭环思维
- 请介绍一个你设计并实现过的高并发低延迟分布式推理架构，面临的挑战和解决方案是什么？
- 在推理服务中，你如何理解和实践‘PD分离’、‘KV池化’等优化技术？请结合具体场景说明
- 如果线上推理服务出现延迟毛刺或吞吐量骤降，你的排查和解决思路是怎样的？
- 你如何看待推理服务的成本与性能平衡？有哪些具体的优化手段？
- 梳理并复盘你过去参与的所有大规模AI服务项目，提炼出可展示的技术深度和项目价值
职位点评
薪资福利75
成长发展85
工作生活60
使命价值70
薪资福利
75中等
职位为已上市大型科技公司的核心技术岗，基于市场水平推断薪资应具有竞争力，但JD未明确披露薪资与具体福利，补偿性动机满足度较好但有信息缺口。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
85较高
JD明确要求前沿技术探索与实施，涉及大模型推理核心优化技术，团队致力于前沿创新，为技术深度成长提供了明确信号和广阔空间。
技术前沿前沿/新兴技术
技术栈大模型、分布式推理、PD分离、KV池化、通信优化、异构资源调度、AI原生网关
成长机会技术演进方向、前沿技术探索与实施、推动技术边界突破
业务类型profit_center
工作生活
60中等
JD未提及任何工作模式（远程/混合）信息，仅明确现场办公。未提及WLB或加班相关信号，无法判断工作强度，生活化动机满足程度有限且不确定。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
岗位服务于京东云AI基础设施，是支持集团内外大模型业务的关键技术角色，具有明确的业务支撑价值。所属云计算与AI领域处于高速增长赛道。
行业发展高速增长赛道
社会影响中性/一般
使命信号驱动京东集团内外部的大模型业务生态及智能体应用
创新程度积极采用新技术
Watch Jobs