京东
大模型推理研发工程师
大模型推理研发工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Ai Infra
Gpu性能优化
Kernel优化
分布式推理
大模型推理
性能分析
推理框架
Stream调度
通信算子
值不值得投
74综合评分
综合评分 74
前沿AI Infra方向、技术成长性强，但WLB与办公模式信息不足
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比高性能计算中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1950 个在招
市场机会
选择适中
上海 · 高性能计算 · 46 个在招
职位详情
关于这个职位
该岗位属于京东云AI Infra团队，面向大模型推理引擎做底层架构与性能优化，涉及GPU访存、计算流水线、Stream异步调度、分布式通信/切分算子以及主流推理框架适配
你需要用性能分析工具定位瓶颈并推动软硬件协同优化，支撑京东内外部大模型与智能体应用的高吞吐低延迟推理
适合有GPU底层优化和推理框架经验、追求极致性能的工程师
最低要求
具备大模型推理引擎底层性能优化经验，熟悉GPU全链路调优与产业级高并发推理部署，能解决高并发低延迟场景下的性能瓶颈
能够独立完成核心算子的手写重构、访存优化与精度对齐，并针对分布式推理场景设计高性能通信算子与切分算子，为多卡并行部署提供底层支撑
能够运用GPU性能分析工具精准定位算力浪费、访存阻塞与调度冗余等瓶颈，输出系统化的软硬件协同优化方案并推动落地，持续提升算力利用效率
熟悉主流大模型推理框架的底层架构与核心机制，具备性能调优与框架适配经验，并能持续跟进行业GPU架构演进以解决实际性能挑战
以打造极致性能的推理引擎为目标，长期深耕GPU底层优化领域，坚持高标准的质量要求与严谨的验证流程，推动攻克高难度技术瓶颈
符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信
工作职责
主导大模型推理引擎底层架构迭代，优化GPU访存、计算流水线与Stream异步调度，提升单卡推理吞吐并降低延迟
研发并优化分布式推理场景的通信算子与切分算子，解决跨卡通信与计算重叠瓶颈，支撑多卡并行部署
负责底层算子库与主流推理框架对接适配，分析性能瓶颈，通过定制化高性能Kernel支撑框架极速运行
运用GPU性能分析工具定位算力浪费、访存阻塞与调度冗余问题，输出软硬件协同优化方案并推动落地迭代
AI 洞察
优缺点分析
优点
- 技术方向位于大模型推理与AI Infra前沿，GPU底层优化经验稀缺
- 岗位直接服务京东内外部大模型与智能体应用，业务场景丰富
- 需要深入GPU架构、访存与通信优化，技术门槛高
- 分布式推理跨卡通信与计算重叠问题复杂，调优周期长
- 要求长期深耕并坚持严谨验证，对耐心和工程质量要求高
- 适合有GPU底层优化、推理框架或高性能计算背景，愿意长期深耕AI Infra并追求技术深度的人
缺点 / 挑战
- 团队强调技术驱动与创新，提供挑战性项目
角色解读
- 纵向深耕可成长为AI Infra/推理引擎性能优化专家
- 横向可扩展到训练平台、异构计算、软硬件协同等方向
- 积累多卡并行与框架适配经验后，可承担更核心的架构设计职责
- 主导大模型推理引擎底层架构迭代，优化GPU访存、计算流水线和Stream异步调度
- 研发分布式推理场景的通信算子与切分算子，解决跨卡通信与计算重叠瓶颈
- 对接底层算子库与主流推理框架，通过定制高性能Kernel支撑框架运行
- 用GPU性能分析工具定位瓶颈，输出软硬件协同优化方案并推动落地
- 熟悉GPU全链路调优，能解决高并发低延迟推理的性能瓶颈
- 具备核心算子手写重构、访存优化与精度对齐能力
- 能设计分布式推理通信算子和切分算子，支撑多卡并行
- 熟悉主流推理框架底层机制，并熟练使用GPU性能分析工具
申请策略
- 提前了解京东云AI Infra团队在大模型训练推理平台上的业务布局
- 准备一个从瓶颈定位到方案落地、再到收益验证的完整性能优化案例
- 突出大模型推理引擎性能优化项目，写明吞吐、延迟、算力利用率等量化收益
- 展示GPU Kernel手写、访存优化与精度对齐经验
- 展示分布式推理通信算子/切分算子设计经验
- 列出CUDA、Nsight等性能分析工具和推理框架适配经历
- 强化CUDA/Triton Kernel开发与Nsight性能剖析能力
- 熟悉vLLM/SGLang等主流推理框架的调度与KV Cache机制
面试指南
- 用“瓶颈定位—方案设计—验证指标—收益复盘”的闭环回答性能优化问题
- 讲清trade-off：吞吐、延迟、显存、通信开销与精度之间的平衡
- 结合具体项目数据说明你的贡献和结果
- 你如何优化大模型推理中的GPU访存与计算流水线？2. 分布式推理跨卡通信与计算重叠瓶颈如何定位和解决？3. 请介绍一次手写Kernel并做精度对齐和访存优化的经历
- 如何用GPU性能分析工具定位算力浪费、访存阻塞与调度冗余？5. 你对主流推理框架底层架构和核心机制的理解是什么？
- 复习GPU架构、CUDA编程、Nsight性能分析和NCCL通信基础
- 准备2个以上推理引擎/Kernel优化案例，能说清指标变化
- 了解vLLM、SGLang等主流推理框架的调度、KV Cache和并行策略
职位点评
薪资福利72
成长发展88
工作生活55
使命价值78
薪资福利
72中等
JD未披露薪资与福利，但岗位技能门槛高、位于上海，AI Infra方向的市场薪酬通常较有竞争力。
薪资信号未披露（AI估算：4.0千–7.0万/月）
成长发展
88较高
岗位聚焦大模型推理引擎和GPU底层优化，技术栈前沿且能积累稀缺的Kernel/分布式推理经验；JD提到成长空间与挑战性项目，但未明确培训或晋升机制。
技术前沿前沿/新兴技术
技术栈大模型推理、GPU性能优化、Kernel优化、分布式推理、通信算子、Stream调度、推理框架
成长机会广阔的成长空间、富有挑战性的项目
业务类型ambiguous
工作生活
55较低
JD未披露办公模式、弹性安排或加班信息，工作地点仅明确到上海市，通勤与WLB情况需要在面试中进一步确认。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
78中等
岗位服务于京东内外部大模型业务生态与智能体应用，处于高速增长的AI Infra赛道，技术价值明确；直接社会使命信号相对有限。
行业发展高速增长赛道
社会影响中性/一般
使命信号核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用
创新程度积极采用新技术
Watch Jobs