
阿里巴巴
阿里云智能-推理引擎研发专家-国际-北京/杭州
阿里云智能-推理引擎研发专家-国际-北京/杭州
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Ai Infra
Kvcache
Sglang
Tensorrt-Llm
Vllm
性能调优
推理引擎
值不值得投
78综合评分
综合评分 78
前沿大模型推理引擎专家岗,技术成长强、行业前景好,办公灵活性未披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
8.0万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 5250 个在招 · 其中AI算法 约 120 个
市场机会
选择面较广
杭州 · AI算法 · 约 130 个在招
职位详情
关于这个职位
该职位聚焦大模型与多模态模型的推理引擎研发和性能优化,核心工作围绕 KVCache、batching、调度、显存管理、算子执行、量化与解码优化等 AI Infra 关键模块展开
你将参与国际场景下的前沿推理与后训练技术落地,联合模型、算法和基础软件团队提升生产环境中的推理效率与系统能力
最低要求
基础扎实,对操作系统、计算机体系结构、并发、数据库、网络、内存管理等有较强理解
熟悉 Python 和 C/C++,有性能敏感型系统开发经验
有较强的 profiling、性能调优、瓶颈分析与工程落地能力
有较强的Vibe Coding能力
工作职责
参与大模型&多模态模型训推系统核心模块的研发与优化
深入理解并优化推理引擎中的核心机制,如 KVCache、、加密部署、batching、调度策略、显存管理、算子执行等
参与推理优化相关算法与工程工作,如量化、解码优化、cache 复用与吞吐优化
参与模型微调 / 后训练相关基础能力建设、调度系统和工程优化,提升训练后链路到推理落地的整体效率
面向国际场景下前沿推理与后训练技术及实际业务需求,跟进并落地主流开源推理引擎与框架能力,联合模型、算法、基础软件团队,持续推进生产环境中的推理性能优化与系统演进
优先资格
对以下方向具备较强兴趣或经验者优先:
SGLang / vLLM / TensorRT-LLM 等推理引擎,KVCache / Radix Cache / Paged Attention等技术
熟悉视觉生成模型,有SFT、DPO、GRPO等后训练或RL经验
Speculative Decoding / Quantization / PD分离/ 并行推理
加分项:
有 AI Infra、推理系统、模型服务相关经验
有模型微调 / 后训练相关工程经验,熟悉训练后链路与推理部署衔接
有开源项目核心贡献,尤其是在推理引擎、框架、编译器、算子库、CUDA 生态等方向
有论文复现、算法工程化、推理优化落地经验
有System方向的优秀背景(存储系统、数据库内核、网络、高性能服务、中间件、编译器)愿意从事 AI Infra 方向的同学,我们也是欢迎的
AI 洞察
优缺点分析
优点
- 岗位处于大模型推理与 AI Infra 的核心技术方向,能够积累稀缺的系统级优化和模型服务经验
- 工作内容覆盖推理引擎、后训练、调度、算子、显存管理等多个关键模块,技术深度和广度都很强
- 与国际业务场景结合,有机会接触前沿推理框架和真实大规模生产问题
- 开源贡献、论文复现和工程落地都被明确看重,适合希望用技术成果证明影响力的候选人
- 技术要求跨度大,既需要底层系统能力,也需要理解大模型推理、后训练和算法优化
- 前沿方向迭代快,需要持续跟进开源框架、模型结构和硬件生态变化
- 适合具备扎实系统功底、熟悉 C/C++ 与 Python、希望深入大模型推理基础设施的资深工程师
- 尤其适合有推理引擎、模型服务、CUDA、编译器或高性能系统经验的人
缺点 / 挑战
- 生产环境中的性能优化问题复杂,可能涉及跨团队协同和长期瓶颈排查
角色解读
- 可沿着 AI Infra 专家方向深入,成为大模型推理系统、模型服务、编译器或高性能计算领域的资深技术专家
- 可拓展到后训练、强化学习训练链路、多模态模型系统与云上推理平台架构,形成训练推理一体化能力
- 长期也可走向技术管理或平台架构负责人,主导大规模推理系统的技术路线与团队建设
- 负责大模型与多模态模型推理系统的核心模块研发,包括 KVCache、batching、调度策略、显存管理和算子执行等关键机制优化
- 围绕量化、解码优化、cache 复用、吞吐提升等方向进行算法与工程协同优化,提升生产环境推理效率
- 参与模型微调和后训练基础能力建设,打通训练后链路到推理部署的整体效率
- 跟进 SGLang、vLLM、TensorRT-LLM 等主流开源推理引擎,并结合国际业务需求进行落地演进
- 需要扎实的操作系统、计算机体系结构、并发、网络、内存管理等系统基础,能够处理性能敏感型系统开发
- 需要熟练掌握 Python 与 C/C++,并具备 profiling、性能调优、瓶颈分析和工程落地能力
- 需要理解推理引擎核心技术,如 KVCache、Radix Cache、Paged Attention、Speculative Decoding、Quantization、PD 分离和并行推理
- 有 AI Infra、模型服务、开源项目核心贡献、CUDA 生态或后训练工程经验会形成明显优势
申请策略
- 面试前建议梳理一个完整的推理优化案例,从问题背景、瓶颈定位、方案设计到上线收益形成闭环
- 关注阿里云智能和大模型服务相关业务方向,理解国际场景下对性能、稳定性和成本效率的诉求
- 突出参与过的大规模推理系统、模型服务或性能敏感型系统项目,说明具体负责的模块和性能收益
- 重点展示 C/C++、Python、profiling、性能调优、瓶颈分析和工程落地经验,最好有量化结果
- 如果有 SGLang、vLLM、TensorRT-LLM、KVCache、Paged Attention、CUDA、算子库或编译器相关经历,应放在显眼位置
- 补充开源项目核心贡献、论文复现、后训练工程化或训练推理链路衔接经验,体现前沿方向积累
- 系统复习推理引擎关键机制,包括 KVCache、Radix Cache、Paged Attention、batching、调度、显存管理和算子执行
- 加强性能分析能力,熟悉 profiling 工具、瓶颈定位方法和端到端吞吐/延迟优化思路
面试指南
- 回答技术题时采用“问题背景—瓶颈定位—方案设计—实验验证—上线收益”的结构,突出数据驱动和工程闭环
- 回答系统设计题时先明确业务约束,如延迟、吞吐、成本、显存、稳定性,再分层说明调度、缓存、算子、并行和部署方案
- 回答经历题时使用 STAR 框架,重点说明个人贡献、关键技术决策和可量化结果
- 如何定位大模型推理系统中的性能瓶颈?你会使用哪些 profiling 方法和指标?
- 请解释 KVCache、Paged Attention、Radix Cache 的作用,以及它们对显存和吞吐的影响
- 在 vLLM 或 SGLang 中,batching 和调度策略如何影响在线推理的延迟与吞吐?
- 请描述一次你主导的性能优化项目,包括瓶颈、方案、取舍和最终收益
- 如何将模型微调或后训练后的模型高效接入推理部署链路?
职位点评
薪资福利82
成长发展92
工作生活52
使命价值78
薪资福利
82较高
职位为专家级研发岗,且明确面向国际场景和核心推理系统,薪资吸引力预计较强。JD 未披露具体薪资与福利明细,因此稳定性与福利信息无法进一步判断。
薪资信号未披露(AI估算:6.0千–10.0万/月)
成长发展
92较高
岗位覆盖大模型推理引擎、后训练、量化、解码优化、开源框架落地等前沿方向,技术成长空间很大。JD 明确强调跟进前沿推理与后训练技术,并联合多团队推进系统演进。
技术前沿前沿/新兴技术
技术栈大模型、多模态模型、推理引擎、KVCache、batching、调度策略、显存管理、算子执行、量化、解码优化、SGLang、vLLM、TensorRT-LLM、Radix Cache、Paged Attention、SFT、DPO、GRPO、Speculative Decoding、PD分离、并行推理、CUDA
业务类型ambiguous
工作生活
52较低
JD 明确给出北京/杭州两个工作城市,但未说明远程、混合办公、弹性工时或加班情况。工作模式与 WLB 相关信息不足,只能判断为一般。
工作模式未明确
办公地点未明确
加班情况未提及(无法判断)
使命价值
78中等
岗位服务于大模型与多模态模型推理效率提升,属于 AI 基础设施中的关键技术方向,行业前景较强。JD 未直接描述社会使命或公共价值,意义感主要来自技术前沿性和生产落地价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs