阿里巴巴
基础模型Infra研发工程师（训练/推理）
基础模型Infra研发工程师（训练/推理）
发布于 大约 9 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Gpu优化
Megatron-Lm
Mlsys
Pytorch
Sglang
Vllm
分布式训练
大语言模型
模型推理
值不值得投
76综合评分
综合评分 76
顶尖大厂核心AI团队，前沿技术栈，薪资优厚，但工作强度大。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
40K
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1950 个在招 · 其中机器学习工程 约 150 个
市场机会
选择面较广
杭州 · 机器学习工程 · 约 270 个在招
职位详情
关于这个职位
该职位隶属于阿里巴巴通义实验室千问Qwen团队，专注于大模型训练与推理系统的研发优化
你将参与大规模分布式训练框架的优化，提升训练效率（MFU），或致力于高性能、低成本的推理服务，推动AI普惠
工作涉及与算法、系统、运维等多团队协同，挑战技术前沿
最低要求
来自全球Top高校计算机科学、人工智能、机器学习、深度学习、软件工程，或相关领域应届毕业生，博士/硕士毕业生优先;
对深度学习框架有深入理解，了解其内部工作机制
熟悉GPU/CPU并行计算原理，具备分布式训练系统设计经验
熟悉Transformer架构以及大语言模型基础知识;
熟悉常见的训练框架（例如Megatron-LM、Verl等）/推理框架（例如vLLM、SGlang等），能够独立在infra上验证想法或者完成上线;
对LLM的量化、蒸馏、剪枝、稀疏化的某一项或者几项有完整的研究经历或者实际的工业界落地经验;
对LLM的推理有深入认知，可以做训练、推理的联合设计以提升全链路效率;
在计算机体系结构、高性能计算、并行计算等领域有过研究经历
具备千卡规模大规模模型训练的实际操作经验者优先;
在国际顶级计算机会议/期刊（如OSDI、SOSP、NeurIPS、ICML、ICLR、ACL、TPAMI、CVPR、ECCV 等）以一作身份发表论文，或在开源社区、计算机领域竞赛中有突出研究成果和项目经历;
MLSys方向的知名开源项目（Megatron、Verl、OpenRLHF、vLLM、SGlang等）贡献者优先;
对基础模型的前沿问题有持续热情，具备独立思考能力和系统性研究思维，有强烈的责任心和解决问题的能力，敢于挑战现有范式
能够独立应用技术解决复杂问题，完成 idea 的验证和模型的训练/推理;
具备跨学科视野与协作意识，能够与工程、产品等多学科团队紧密合作，推动研究成果快速落地并产生实际影响力
工作职责
模型训练优化：在不影响模型性能前提下提高各尺寸模型在大规模分布式预训练训练的 MFU，以支持模型规模，数据规模及支持模态的持续 scaling
持续进行RL训练框架的开发和优化，提高训练推理协同效率和大规模训练下的稳定性及可扩展性
同时与网络/服务器/存储等相关运维团队共同保障训练过程中的有效训练时间占比，保障模型的按期交付
模型推理优化：高效以及成本最优的推理服务，让AI进一步实现普惠
团队推理优化的工作目前主要关注高并发serving（Qwen Chat以及API服务）下的算法侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等
AI 洞察
优缺点分析
优点
- 加入阿里巴巴通义实验室，参与全球领先的Qwen大模型研发，技术影响力大
- 薪资待遇优厚，平台稳定，发展空间广阔
- 工作强度大，需要应对高并发、大规模系统带来的复杂问题
- 对技术深度和广度要求极高，需要持续学习，保持技术领先
- 跨团队协作频繁，需要良好的沟通和协调能力
- 适合对大规模模型训练和推理有浓厚兴趣，具备扎实系统功底和钻研精神的技术人才
缺点 / 挑战
- 接触最前沿的MLSys技术，解决大规模训练和推理的挑战，个人成长迅速
角色解读
- 成为大模型基础设施领域的专家，主导训练或推理系统的架构设计与优化
- 有机会在顶级会议（如OSDI、NeurIPS）发表论文，提升学术影响力
- 可向技术管理方向发展，带领团队负责核心基础设施的研发
- 负责大规模语言模型（Qwen系列）的训练系统优化，提升分布式训练效率（MFU），支持模型持续扩展
- 或负责推理服务优化，开发高并发、低成本的推理系统，支撑Qwen Chat和API服务
- 与算法、系统、运维团队协作，保障训练和推理的稳定性与效率，推动模型落地
- 深入理解深度学习框架（如PyTorch）内部机制，熟悉GPU/CPU并行计算原理
- 熟悉主流训练框架（Megatron-LM、Verl）或推理框架（vLLM、SGlang），具备实际使用经验
- 具备分布式系统设计经验，了解LLM量化、蒸馏、剪枝等优化技术
- 有扎实的计算机体系结构、高性能计算基础，具备千卡级训练经验者优先
申请策略
- 了解Qwen系列模型的技术细节和团队研究方向，在面试中展现热情
- 准备好展示你如何解决复杂技术问题的案例
- 突出分布式训练或推理优化相关的项目经验，量化性能提升成果
- 强调对深度学习框架和并行计算原理的深入理解
- 展示在开源社区（如vLLM、Megatron）的贡献或相关论文发表
- 深入学习vLLM、SGlang等推理框架的源码和优化技术
- 补充学习模型量化、蒸馏等模型压缩技术
- 参与MLSys相关的开源项目，积累实战经验
面试指南
- 使用STAR法则（情境、任务、行动、结果）回答项目经验问题，突出你的具体贡献和量化成果
- 对于系统设计问题，从需求分析、架构设计、关键技术选型、性能评估等方面展开
- 对于技术深度问题，结合底层原理和实际案例，展示你的思考过程
- 如何优化大规模分布式训练的效率？请举例说明
- 介绍你使用vLLM或SGlang的经验，以及如何优化推理性能
- 如何设计一个高并发、低成本的推理服务架构？
- 谈谈你对模型量化、蒸馏等压缩技术的理解
- 你在千卡集群训练中遇到的最大挑战是什么？如何解决？
职位点评
薪资福利75
成长发展95
工作生活40
使命价值85
薪资福利
75中等
阿里巴巴作为头部大厂，薪资待遇优厚，福利完善，但具体薪资需面议。
薪资信号面议 (30K-50K/月)
成长发展
95较高
该职位处于AI大模型最前沿，技术挑战大，成长空间广阔。
技术前沿前沿/新兴技术
技术栈Megatron-LM、vLLM、SGlang、分布式训练、GPU优化、模型推理、大模型、MLSys
业务类型profit_center
工作生活
40较低
工作地点在北京/杭州/上海，为现场办公，工作强度可能较大。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
推动大模型技术发展，具有较高的行业影响力和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动AI在企业服务、开发者生态、个人用户等领域的深度应用
创新程度开拓性创新（行业首创）
Watch Jobs