阿里巴巴
阿里云智能-机器学习平台研发专家-AI推理系统开发工程师
阿里云智能-机器学习平台研发专家-AI推理系统开发工程师
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Continuous Batching
Cuda
Kv Cache
Pagedattention
Pd分离
Sglang
Vllm
大模型推理
值不值得投
80综合评分
综合评分 80
AI大模型核心基础设施研发岗，技术前沿且成长空间巨大，薪资竞争力强，但技术难度与工作节奏要求较高。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3290 个在招 · 其中机器学习工程 约 190 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 470 个在招
职位详情
关于这个职位
该职位主要负责大模型推理系统的架构设计与核心模块开发，包括推理引擎优化、PD分离架构及KV Cache管理
你需要利用Golang/Python/C++等语言，结合vLLM等开源引擎，持续提升推理链路的性能、稳定性与成本效率
最低要求
计算机相关专业，具有五年以上Golang、Python或C++开发经验
熟悉vLLM、SGLang等开源推理引擎的架构与实现，了解Continuous Batching、PagedAttention等核心机制
深入理解LLM推理场景下的请求调度策略，熟悉 KV Cache 管理、PD分离等前沿架构
具备复杂系统的设计与调试能力，能够系统性分析推理链路中的性能瓶颈
良好的学习和自我驱动能力，具备良好的跨团队沟通协作能力
积极拥抱AI辅助编程工具，善于利用AI提升开发效率与代码质量
工作职责
参与大模型推理系统的架构设计与开发，包括推理网关、请求调度、流量路由等核心模块的建设
负责推理引擎（vLLM/SGLang等）的深度优化与定制化开发，提升推理吞吐与延迟表现
参与PD分离（Prefill-Decode）架构的设计与开发，优化Prefill与Decode阶段的资源分配与协同调度
负责KV Cache存储与管理系统开发，包括KV Cache迁移、共享、淘汰策略的设计与实现
参与模型分发系统开发，支持大模型在多节点间的高效分发与加载
基于线上监控与用户反馈，持续优化推理链路的性能、稳定性与成本效率
优先资格
具备高性能系统开发经验，熟悉GPU编程（CUDA/Triton等）者优先
AI 洞察
优缺点分析
优点
- 依托头部云计算平台，能接触到超大规模集群和海量并发场景，技术视野广阔
- 岗位技术壁垒高，个人能力成长后在AI Infra领域具有极高的市场稀缺性
- 大模型推理优化涉及底层硬件与复杂系统，技术难度大，需要持续跟进最新学术与工程进展
- 适合对底层系统、高性能计算及大模型推理有浓厚兴趣，具备扎实编程功底和复杂系统调试能力的资深技术人才
缺点 / 挑战
- 处于AI大模型基础设施的核心赛道，技术前沿且极具挑战性
- 线上系统对稳定性和成本效率要求极高，可能面临较大的线上运维与性能调优压力
角色解读
- 可向大模型底层系统架构师方向发展，成为AI Infra领域的顶尖技术专家
- 随着大模型应用的爆发，积累的性能优化与系统调度经验将极具行业竞争力
- 负责大模型推理系统的核心架构设计与开发，包括推理网关、请求调度等模块
- 深度优化vLLM/SGLang等推理引擎，提升推理吞吐量并降低延迟
- 设计并实现PD分离架构与KV Cache管理系统，优化资源分配与模型分发效率
- 精通Golang、Python或C++，具备5年以上高性能系统开发经验
- 深入理解LLM推理机制，熟悉vLLM、Continuous Batching、PagedAttention等核心技术
- 具备复杂系统的设计与调试能力，能系统性分析并解决推理链路的性能瓶颈
申请策略
- 建议提前在GitHub上关注vLLM/SGLang等项目的最新Issue和PR，了解社区当前的优化痛点
- 重点突出在高性能系统、并发处理或底层引擎优化方面的实际项目经验与性能提升数据
- 详细展示对vLLM、SGLang等开源推理引擎的源码阅读、二次开发或深度定制经验
- 强调在GPU编程（CUDA/Triton）或分布式系统调度方面的技术积累
- 提前熟悉PD分离架构、KV Cache管理策略及Continuous Batching等LLM推理前沿技术
- 复习并巩固C++/Golang的高性能编程技巧，了解GPU底层执行机制
面试指南
- 原理类问题：从核心概念出发，结合底层数据结构或硬件特性（如显存、GPU线程）进行解释，并对比传统方案的优劣
- 排查/优化类问题：采用'监控定位 -> 瓶颈分析 -> 方案设计 -> 效果验证'的结构化思路，强调数据驱动和系统性思维
- 请详细描述vLLM中PagedAttention的实现原理，以及它是如何减少显存碎片的？
- 在PD分离架构中，Prefill和Decode阶段如何协同调度以最大化GPU利用率？
- 如果线上推理服务出现延迟毛刺，你会如何系统性地进行排查和优化？
- 请分享一个你主导的高性能系统优化案例，具体提升了多少吞吐或降低了多少延迟？
- 深入阅读vLLM/SGLang的核心源码，特别是调度器和显存管理模块，准备相关的技术细节
- 梳理自己过往项目中的性能优化案例，准备好具体的指标对比和踩坑经验
职位点评
薪资福利85
成长发展95
工作生活50
使命价值80
薪资福利
85较高
作为核心研发专家岗，薪资水平处于市场高位，且依托头部平台，整体薪酬福利具有较强竞争力。
薪资信号未披露（AI估算：4千–7万/月）
成长发展
95较高
岗位处于大模型推理这一前沿技术领域，能接触到业界最核心的AI Infra技术，个人技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、Continuous Batching、PagedAttention、KV Cache、CUDA、Triton、PD分离
业务类型ambiguous
工作生活
50较低
JD未明确提及工作模式与加班情况，但作为核心研发岗且涉及线上系统优化，工作节奏可能较快。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
大模型推理系统是整个AI行业的基础设施，推动大模型的高效落地具有显著的行业价值与技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs