京东
KV Cache 压缩算法工程师
KV Cache 压缩算法工程师
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Kv Cache
Llm
大模型推理优化
异构计算
显存优化
稀疏化
量化压缩
值不值得投
73综合评分
综合评分 73
前沿大模型推理优化专精岗，技术成长空间大，工作模式偏现场办公、WLB 信息未明。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
与算法优化工程师中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1930 个在招 · 其中算法优化工程师 10 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 360 个在招
职位详情
关于这个职位
你将加入京东云 AI Infra 团队，负责大模型推理阶段的 KV Cache 量化与稀疏化压缩算法研发，解决显存瓶颈并提升推理性能
需要你在异构芯片平台上落地压缩方案、建立精度评测体系，并与推理框架集成，让压缩能力在完整链路生效
这是一个高度专精、直接服务集团内外部大模型业务的核心技术岗
最低要求
具备大模型推理优化全链路经验，熟悉 KV Cache 压缩技术在异构算力平台上的落地与评测，曾主导显存瓶颈相关方案
能够设计量化与稀疏化等压缩算法，解决大模型推理显存瓶颈，并推动技术指标提升
能够依据不同芯片架构特性制定适配策略，保障压缩算法在多平台高效部署与稳定运行
具备系统化问题拆解能力，能从性能数据与硬件特性中识别瓶颈，权衡压缩率与精度损失，形成可验证优化路径
能够基于评测结果持续调整压缩策略与集成方式，通过协同创新突破系统性能瓶颈
以攻克 KV Cache 压缩技术难题为己任，长期投入推理优化方向，致力于为业务与行业创造可持续技术价值，并在方案设计中坚持严谨实验标准与数据驱动决策
符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信
工作职责
设计并落地量化与稀疏化压缩算法，解决大模型推理显存瓶颈，提升性能指标
针对异构硬件平台特性制定适配策略，保障压缩算法在多芯片架构高效部署与稳定运行
建立 KV Cache 压缩精度评测机制，量化分析方案收益与损失，支撑算法选型与迭代
推进压缩算法与上层推理框架集成，解决工程兼容性问题，确保压缩能力在完整链路生效
梳理 KV Cache 压缩方法论与最佳实践，探索中长期技术演进，牵引团队能力提升
AI 洞察
优缺点分析
优点
- 处于大模型推理优化这一高景气、强需求的技术方向，技术积累稀缺且可迁移性强
- 背靠京东云 AI Infra 平台，可接触主流开源模型与自研模型的真实大规模业务场景
- 岗位覆盖算法、硬件适配到框架集成的全链路，成长面广、技术深度足
- KV Cache 压缩是硬核方向，需要同时兼顾算法效果与工程部署，技术门槛高、调试复杂
- 涉及多芯片架构适配与精度评测，落地周期长、验证成本高，需要足够的耐心与严谨性
- 适合对推理优化、模型压缩有强烈兴趣，具备全链路经验并愿意长期深耕 AI Infra 的技术人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 可沿着推理优化/AI Infra 技术专家路线深耕，成为大模型系统工程领域的核心骨干
- 凭借跨硬件适配与全链路经验，未来可向架构师或技术负责人方向发展，牵引团队技术演进
- 研发并落地 KV Cache 的量化与稀疏化压缩算法，直接缓解大模型推理阶段的显存瓶颈
- 针对多种芯片架构做适配与部署，并搭建精度评测体系衡量压缩方案的收益与损失
- 推动压缩算法与上层推理框架集成，保证能力在完整推理链路中真正生效
- 扎实的大模型推理优化经验，理解 KV Cache 机制与显存瓶颈的本质
- 掌握量化、稀疏化等模型压缩算法，并能结合硬件特性做工程落地
- 具备系统化的性能分析与问题拆解能力，能在压缩率和精度损失之间做权衡
- 熟悉推理框架的集成与兼容性处理，具备跨团队协同推进落地的能力
申请策略
- 提前了解京东云在大模型推理与智能体应用上的业务布局，面试中体现业务理解
- 突出长期投入推理优化方向的意愿，契合岗位对技术定力的要求
- 突出你主导过的显存瓶颈优化或 KV Cache 压缩相关项目，量化说明性能与显存收益
- 展示量化/稀疏化算法的设计经验，并说明在真实推理场景中的落地与评测结果
- 体现异构硬件（如多种 GPU/NPU）适配与推理框架集成的工程能力
- 强调端到端的系统化问题拆解与数据驱动决策的经历
- 补强主流推理框架（如 vLLM、TensorRT-LLM 等）的集成与二次开发能力
- 深化对量化、稀疏化算法原理及精度评测方法的系统理解与实操经验
面试指南
- 采用『背景-瓶颈-方案-验证-收益』的结构讲清项目，突出你的主导作用和数据化结果
- 回答权衡类问题时，先讲评测指标体系，再讲如何用实验数据驱动策略选择
- 回答规划类问题时，分短期落地、中期优化、长期演进三层展开，体现系统思维
- 请介绍你主导过的一个 KV Cache 压缩项目，解决的核心瓶颈和最终收益是什么？
- 在压缩率与精度损失之间，你是如何做权衡和评测的？
- 面对不同芯片架构，你会如何制定压缩算法的适配策略？
- 压缩算法与推理框架集成时遇到过哪些兼容性问题，如何解决？
- 如果让你规划 KV Cache 压缩的中长期技术演进，你会怎么布局？
职位点评
薪资福利78
成长发展88
工作生活45
使命价值72
薪资福利
78中等
岗位属高稀缺的推理优化专精方向，市场议价能力较强；JD 未披露具体薪资与福利细节。
薪资信号未披露（AI估算：4.0千–7.0万/月）
成长发展
88较高
覆盖算法设计、异构适配、精度评测到框架集成的全链路，技术前沿且成长空间大，团队强调创新与挑战性项目。
技术前沿前沿/新兴技术
技术栈KV Cache、量化、稀疏化、大模型推理优化、异构硬件、推理框架、LLM、显存优化
成长机会为每一位成员提供广阔的成长空间和富有挑战性的项目
业务类型ambiguous
工作生活
45较低
JD 未提及办公模式、弹性或加班相关信息，工作地点在北京亦庄现场办公。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
72中等
聚焦大模型推理这一高速增长方向，技术成果可服务集团内外部大模型业务生态，具备较强技术价值感。
行业发展高速增长赛道
社会影响中性/一般
使命信号高效支持和驱动京东集团内外部的大模型业务生态及智能体应用、为业务与行业创造可持续技术价值
创新程度积极采用新技术
Watch Jobs