京东
推理架构算法工程师
推理架构算法工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Ai Infra
Gpu调度
Kv Cache
分布式系统
大模型推理
性能调优
架构设计
系统稳定性
值不值得投
80综合评分
综合评分 80
前沿AI Infra技术栈、大厂平台背书、成长空间广阔，但需适应高强度研发节奏
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
7.5万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1980 个在招 · 其中人工智能 14 个
市场机会
选择面较广
北京 · 人工智能 · 约 700 个在招
职位详情
关于这个职位
负责京东云AI Infra团队的底层大模型推理架构设计与优化，主导高并发低延迟场景下的PD分离、KV池化及通信优化方案落地
构建AI原生网关与异构资源调度平台，保障全链路服务稳定性，并通过前沿算法探索与技术分享驱动团队技术演进
最低要求
具备大规模分布式推理系统或AI平台整体架构设计经验，能主导制定中长期技术规划，推动PD分离、KV池化、通信优化等方案在高并发低延迟场景落地
拥有AI原生平台核心能力建设经验，负责过异构资源调度、动态路由、请求治理、深度可观测性等关键方向的设计与实施，保障复杂生产环境下的系统稳定性
具备推理服务全链路稳定性保障能力，熟悉巡检、告警、多维监控等机制，能快速定位问题并提升系统可用性
能够穿透复杂分布式系统的性能瓶颈与稳定性故障，定位底层缺陷并形成可验证的优化路径
跟踪业界推理架构演进趋势，主动识别改进机会，在关键算法指标上取得可量化突破
符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信
工作职责
主导AI云推理架构规划，设计PD分离、KV池化与通信优化方案，应对高并发低延迟场景
构建AI原生网关与高可用平台，实现异构资源调度、动态路由及深度可观测性等核心能力
建立全链路稳定性保障机制，通过巡检、告警与监控提升服务可用性
探索前沿算法并推动落地，在关键指标上取得可量化技术突破
总结方法论并沉淀经验，通过技术评审与分享带动团队技术水平提升
AI 洞察
优缺点分析
优点
- 聚焦大模型推理架构这一AI工程核心赛道，技术壁垒高且行业需求旺盛
- 依托京东云庞大算力与业务场景，能提供充足的实验数据与落地空间
- 大厂平台背书有助于积累高并发分布式系统实战经验
- 需同时兼顾算法理论突破与底层工程落地，对跨领域知识储备要求极高
- 高并发低延迟场景下的性能调优往往面临极端边界条件，调试难度大
- 内部技术迭代快，需保持高强度学习以跟上业界最新进展
- 适合具备扎实分布式系统功底、对AI底层架构有浓厚兴趣，且能在高压环境下持续输出技术方案的资深工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向首席架构师或AI Infra技术专家方向发展，主导集团级大模型基础设施演进
- 也可横向拓展至AI平台产品化或向技术管理岗转型，带领团队攻坚前沿AI工程难题
- 负责京东云大模型推理平台的底层架构设计与优化，主导高并发场景下的计算与通信方案落地
- 搭建AI原生网关与资源调度系统，保障复杂生产环境的稳定运行与性能达标
- 持续追踪业界前沿技术，通过算法优化与工程实践解决分布式系统瓶颈
- 精通大规模分布式推理系统架构设计，熟练掌握GPU集群调度、KV Cache优化及网络通信加速技术
- 具备全链路稳定性建设经验，熟悉监控告警、故障排查与性能调优方法
- 深入理解大模型训练/推理原理，具备扎实的C++/Python编程与系统级开发能力
申请策略
- 提前研究京东云近期发布的AI Infra相关技术白皮书或开源项目，面试时可结合其实际业务场景提出针对性优化思路
- 关注团队对“高可用”与“低成本”的双重诉求，准备相应的架构权衡分析
- 突出主导过的AI推理/训练平台架构设计案例，量化展示吞吐量提升、延迟降低或成本节约的具体指标
- 详细列出在异构资源调度、KV池化或通信优化方面的具体技术方案与落地成果
- 补充CUDA编程、NCCL/RDMA通信优化及主流大模型框架（如vLLM, TensorRT-LLM）源码阅读经验
- 强化分布式系统一致性协议与容错机制的理论基础
面试指南
- 采用STAR法则结构化回答，先阐明业务背景与核心痛点，再分步骤讲解架构选型、关键技术点（如算子融合、内存复用、网络拓扑优化）及最终量化收益
- 针对故障排查题，强调从监控指标切入、假设验证到根因定位的闭环逻辑
- 请详细描述你设计的高并发推理系统架构，重点说明如何解决KV Cache显存瓶颈与通信开销？
- 在过往项目中，你是如何定位并解决分布式系统的性能抖动或稳定性故障的？
- 面对不同规模的大模型，你会如何设计弹性资源调度策略以平衡成本与性能？
- 复习大模型推理核心概念（如PagedAttention、Speculative Decoding、MoE路由），梳理自己参与过的底层系统优化案例
- 准备1-2个完整的架构设计复盘，重点说明技术选型的权衡依据与踩坑经验
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
薪资处于互联网大厂市场中上水平，配合完善的五险一金与补充商业保险，稳定性强。
薪资信号未披露（AI估算：5.5千–9.5万/月）
成长发展
90较高
深度参与大模型推理架构前沿探索，技术栈高度契合AI Infra发展趋势，内部技术分享与评审机制完善。
技术前沿前沿/新兴技术
技术栈大模型推理、AI Infra、分布式系统、GPU调度、KV Cache
成长机会技术驱动、创新为本的理念、为每一位成员提供广阔的成长空间和富有挑战性的项目
业务类型profit_center
工作生活
60中等
互联网大厂研发岗通常节奏较快，JD未明确提及弹性工时或远程政策，需做好适应高强度工作的准备。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
致力于构建高效大模型服务平台，直接支撑集团智能体应用生态，技术成果具有明确的商业化与社会应用价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号高效支持和驱动京东集团内外部的大模型业务生态及智能体应用、技术驱动、创新为本
创新程度积极采用新技术
Watch Jobs