阿里巴巴
大模型推理及后训练关键技术研究-阿里星/A Star
大模型推理及后训练关键技术研究-阿里星/A Star
发布于 大约 15 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Kv Cache
Lora
Sft
Sglang
Tensorrt-Llm
Vllm
多模态
推理优化
值不值得投
80综合评分
综合评分 80
阿里核心AI团队，前沿技术栈，高薪高成长，但WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
65K
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1990 个在招 · 其中机器学习工程 约 150 个
市场机会
选择面较广
杭州 · 机器学习工程 · 约 270 个在招
职位详情
关于这个职位
作为阿里巴巴大模型推理与后训练关键技术研究员，你将深入大模型推理系统核心，参与vLLM/SGLang等推理引擎的深度优化，负责KV Cache存储体系、多模态推理加速及微调链路建设，打造高性能、低成本的推理与定制化交付引擎，推动生产环境性能数量级提升
最低要求
计算机相关专业博士
熟悉vLLM、SGLang、TensorRT-LLM等开源推理引擎的架构与实现，深入理解Continuous Batching、PagedAttention、KV Cache管理、PD分离、量化、投机采样等关键技术
了解大模型微调技术（SFT、LoRA/QLoRA等），熟悉Megatron-LM、FSDP、DeepSpeed等训练框架者优先
了解多模态大模型架构（视觉理解/视觉生成等），有多模态模型推理优化或微调实践经验者优先
具备高性能系统开发经验，熟悉GPU编程（CUDA/Triton）与NCCL等通信技术者优先，能够系统性分析推理链路中的性能瓶颈
良好的学习与自驱能力和跨团队协作能力，积极拥抱AI辅助编程工具提升开发效率
工作职责
参与大模型推理引擎（vLLM/SGLang等）的深度优化与定制化开发，包括Continuous Batching、PD分离、投机采样、低比特量化等核心机制，持续提升推理吞吐与延迟表现
负责KV Cache存储与管理体系建设，包括多级缓存架构（HBM/DRAM/SSD）、Prefix Cache复用、迁移/共享/淘汰策略、分布式KV Cache高效传输
参与多模态大模型的推理与后训练技术建设，包括ViT/DiT等异构结构的推理加速、多模态场景的Cache优化与显存管理、图文/视频数据的微调链路适配
参与大模型后训练与微调系统建设，包括SFT全参微调与参数高效微调（LoRA/QLoRA等）训练链路、数据流水线与效果评估，打通"微调→压缩→部署→推理"闭环，支持Multi-LoRA推理服务
基于线上真实负载持续优化推理链路的性能、稳定性与成本效率，在生产环境实现延迟与吞吐的数量级提升
优先资格
在OSDI/SOSP/ATC/NeurIPS/ICML/ICLR等顶会/顶刊发表过高质量论文
深度参与或主导贡献过顶级开源项目（vLLM/SGLang/TensorRT-LLM/Megatron-LM等）
有KV Cache分布式存储、微调模型量化部署等实战经验，或了解RLHF/DPO等模型对齐技术
AI 洞察
优缺点分析
优点
- 阿里巴巴平台资源丰富，有大量真实场景验证技术
- 薪资待遇优厚，阿里星计划提供有竞争力的薪酬
- 有机会与顶级开源社区互动，提升影响力
- 技术难度高，需要深厚的系统与算法功底
- 工作强度可能较大，需要应对快速迭代和高压环境
- 竞争激烈，需要持续产出高价值成果
- 适合对AI基础设施有热情、具备扎实系统能力和算法基础的博士，追求技术极致和影响力
缺点 / 挑战
- 处于AI前沿领域，技术挑战大，个人成长快
角色解读
- 成为大模型推理领域的专家，主导核心系统架构设计
- 晋升为技术负责人，带领团队攻克技术难题
- 向技术管理或架构师方向发展，影响公司AI基础设施战略
- 深入优化大模型推理引擎（如vLLM、SGLang），实现Continuous Batching、PD分离、投机采样等机制，提升吞吐和降低延迟
- 构建KV Cache存储体系，设计多级缓存架构和分布式传输策略，优化显存和带宽利用
- 参与多模态大模型推理与后训练，加速ViT/DiT等结构，优化Cache和显存管理
- 建设微调系统，支持SFT和LoRA等，打通微调、压缩、部署、推理闭环，并支持Multi-LoRA服务
- 精通vLLM、SGLang等推理引擎架构，深入理解PagedAttention、KV Cache、量化等
- 熟悉大模型微调技术，掌握LoRA/QLoRA，了解训练框架如Megatron-LM、FSDP
- 具备高性能系统开发能力，熟练CUDA/Triton编程，了解NCCL通信
- 了解多模态模型架构，有推理优化或微调经验者优先
申请策略
- 关注阿里巴巴AI基础设施团队动态，了解技术方向
- 准备技术分享，展示对推理系统的深入理解
- 突出在推理引擎优化、KV Cache管理方面的项目经验，量化性能提升
- 强调开源贡献，如vLLM、SGLang等，展示技术深度
- 展示多模态或微调相关实践，如LoRA、量化部署
- 列出顶会论文，体现研究能力
- 深入学习vLLM源码，理解核心机制
- 实践CUDA/Triton编程，优化kernel
面试指南
- 从问题定义、现有方案、优化思路、实验验证四步回答
- 结合具体项目经验，量化效果
- 展示系统思维，考虑权衡
- 如何优化vLLM的Continuous Batching策略？
- 设计一个KV Cache分布式存储方案
- 如何实现多模态模型的推理加速？
- LoRA微调时如何选择秩？
- 如何评估推理系统的性能瓶颈？
职位点评
薪资福利85
成长发展95
工作生活50
使命价值80
薪资福利
85较高
薪资水平高，阿里巴巴提供有竞争力的薪酬和福利，但JD未明确具体薪资。
薪资信号未披露（AI估算：50K-80K/月）
成长发展
95较高
技术前沿，涉及大模型推理和训练，成长空间大，有顶会论文和开源贡献机会。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、KV Cache、CUDA、LoRA、多模态
业务类型profit_center
工作生活
50较低
工作地点在北京或杭州，现场办公，JD未提及弹性工作，可能加班。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
大模型技术推动AI发展，社会影响力较高，但JD未明确使命。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs