阿里巴巴
AI推理平台-大模型KVCache缓存系统技术专家-杭州/北京
AI推理平台-大模型KVCache缓存系统技术专家-杭州/北京
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Kvcache
Pagedattention
Sglang
Tensorrt-Llm
Vllm
分布式缓存
值不值得投
78综合评分
综合评分 78
核心AI基础设施专家岗，技术前沿且成长空间极大，薪资丰厚，但工作强度较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
7万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2920 个在招 · 其中高性能计算 14 个
市场机会
选择适中
杭州 · 高性能计算 · 12 个在招
职位详情
关于这个职位
该职位负责大模型推理场景下KVCache核心系统的架构设计与工程实现，涉及分布式缓存共享、多级存储卸载及推理性能优化
你需要结合主流推理框架进行深度定制，并建设系统监控体系以保障大规模集群的高可用性
最低要求
扎实的系统编程能力，可选精通 C++/Python/Rust，熟悉高性能并发编程与内存管理
深入理解 KVCache 相关技术，PagedAttention / vAttention 等显存分页管理，Prefix Cache / Semantic Cache 等缓存复用技术，KVCache 量化（INT8/FP8 KV）压缩技术，KVCache Offload 至 CPU/SSD 的分层存储技术
理解 LLM 推理原理，熟悉 Transformer 架构及 Attention 计算机制，熟悉主流 LLM 推理框架
熟悉 CUDA 编程，了解 GPU 显存管理、PCIe/NVLink 传输机制
工作职责
KVCache 核心系统研发，负责 LLM 推理场景下 KVCache 的架构设计与工程实现，优化 KVCache 的内存管理、显存分配与生命周期调度策略，研究并实现 Prefix Cache、Radix Tree Cache 等高效缓存复用机制，提升 Cache Hit Rate
设计跨机、跨节点的分布式 KVCache 共享与迁移方案，实现 KVCache 在 GPU HBM / CPU DRAM / NVMe SSD 多级存储间的高效卸载（Offload）与加载，针对长上下文、多轮对话场景优化 KVCache 的存储与传输效率
推理性能优化，结合 Continuous Batching、PagedAttention、Chunked Prefill 等机制，协同优化 KVCache 调度策略，分析推理链路中 KVCache 相关的性能瓶颈，进行端到端性能优化，针对主流推理框架（vLLM / SGLang / TensorRT-LLM / RTP-LLM）进行 KVCache 模块的深度优化与定制
系统可靠性与可观测性建设，建设 KVCache 命中率、内存占用、调度延迟等核心指标的监控体系，保障大规模集群下 KVCache 服务的高可用与容错能力
优先资格
加分项1：有在 vLLM / SGLang / Mooncake 等开源项目贡献 KVCache 相关 PR 的经验，熟悉存储系统（Ceph / 3FS）或分布式缓存系统（Redis / Memcached）设计原理
加分项2：AI 重度用户—— Qwen Code / Qoder / Claude Code 等工具用到 token 拉满，有自己的工作实践，把 AI 深度嵌入编码、调试与优化全流程，追求极致研发效率
AI 洞察
优缺点分析
优点
- 处于AI大模型爆发的核心赛道，技术壁垒高，个人技术价值提升快
- 有机会在vLLM等顶级开源项目中贡献核心代码，建立行业影响力
- 大模型推理优化属于前沿探索，技术迭代极快，需要持续跟进最新论文与开源动态
- 适合对底层系统、GPU架构及大模型推理有浓厚兴趣，具备扎实C++/CUDA功底，且喜欢钻研极致性能优化的硬核技术极客
缺点 / 挑战
- 依托丰富的算力资源与海量业务场景，能接触到业界最大规模的推理集群挑战
- 系统底层优化涉及软硬件协同，排查性能瓶颈和内存泄漏的难度极大
角色解读
- 可向AI基础设施首席架构师、AI系统技术总监方向发展
- 或在开源社区建立技术影响力，成为大模型推理优化领域的顶尖专家
- 负责大模型推理引擎中KVCache模块的架构设计与核心代码实现
- 优化显存管理、多级存储卸载及分布式缓存共享机制
- 结合主流推理框架进行端到端性能调优与系统高可用建设
- 精通C++/Python/Rust等系统级编程语言，具备高性能并发与内存管理能力
- 深入理解LLM推理原理、Transformer架构及CUDA编程
- 熟悉vLLM等主流推理框架及分布式存储/缓存系统设计
申请策略
- 阿里非常看重技术深度与开源贡献，建议在简历中附上GitHub主页或技术博客
- 面试前准备好应对极端场景下的系统设计与性能调优Case
- 突出在C++/CUDA高性能编程、内存管理方面的实战经验
- 详细列出在vLLM/SGLang等开源项目的贡献（PR链接）或自研推理引擎的优化成果
- 展示对KVCache、PagedAttention等前沿技术的深刻理解与落地案例
- 深入研读vLLM、SGLang源码，理解其KVCache调度机制
- 补充分布式存储（如Ceph）或RDMA网络传输知识，以应对跨节点缓存迁移需求
面试指南
- STAR法则结合底层原理：先阐述技术原理（如显存分页机制），再结合具体场景说明设计思路，最后用数据指标（如Cache Hit Rate提升、延迟降低）证明优化效果
- 请详细讲解PagedAttention的原理，以及你在实际项目中如何优化KVCache的显存分配？
- 在长上下文场景下，如何设计KVCache在GPU HBM、CPU DRAM和NVMe SSD之间的多级卸载与加载策略？
- 如何排查和解决大规模分布式集群中KVCache服务的高可用与容错问题？
- 对比vLLM和TensorRT-LLM在KVCache调度上的差异，你做过哪些深度定制？
- 复习CUDA编程、GPU显存架构及PCIe/NVLink传输机制
- 阅读近期关于LLM推理优化的顶会论文（如SOSP/OSDI/MLSys）
- 熟悉阿里RTP-LLM框架的基本架构
职位点评
薪资福利85
成长发展95
工作生活40
使命价值85
薪资福利
85较高
作为核心AI基础设施的技术专家岗，薪资处于行业顶尖水平，且享有完善福利与股票激励。
薪资信号偏高 (5千–9万/月)
成长发展
95较高
岗位处于大模型推理最前沿，能接触到业界最大规模的算力集群，技术成长空间与行业影响力极大。
技术前沿前沿/新兴技术
技术栈KVCache、CUDA、vLLM、SGLang、TensorRT-LLM、PagedAttention、C++、Rust
业务类型ambiguous
工作生活
40较低
核心底层系统研发且涉及大规模集群保障，工作强度通常较大，且JD未提及弹性办公或WLB相关福利。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
推动大模型推理效率提升，直接赋能AI应用落地，具有极高的行业价值与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs