阿里巴巴
大规模模型训练的调度与框架协同优化-阿里星/A Star
大规模模型训练的调度与框架协同优化-阿里星/A Star
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Deepspeed
Megatron-Lm
Pytorch
分布式训练
大模型训练
集群调度
高性能计算
值不值得投
82综合评分
综合评分 82
阿里顶尖校招计划，深耕万卡级大模型训练底层系统，技术前沿且薪资极高，适合追求极致技术成长的极客。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
5万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2940 个在招 · 其中高性能计算 13 个
市场机会
选择适中
杭州 · 高性能计算 · 11 个在招
职位详情
关于这个职位
该职位主要负责设计和开发面向大规模模型训练的智能调度系统，实现调度器与训练框架的深度协同，提升集群级训练效率
同时研究万卡级训练的高可用与弹性机制，探索自动并行策略搜索，并参与PAI-DLC训练平台的核心能力建设
最低要求
具备扎实的计算机基础知识和分布式系统研发经验，C++/Python 编程能力强，对操作系统原理、计算机网络、分布式一致性等系统领域知识有较好的理解和项目应用经验
熟悉深度学习基本原理和主流深度学习框架（PyTorch），了解分布式训练的基本并行策略（DP/TP/PP/EP）和通信原语（NCCL、AllReduce、P2P）
熟悉 Megatron-LM、DeepSpeed、TransformerEngine、DualPipe 等训练框架技术，并在研究或实习项目中有相应的实践经历
具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力，具备能够深度钻研技术的耐心
工作职责
设计和开发面向大规模模型训练的智能调度系统，实现调度器与训练框架（Megatron-LM、DeepSpeed、FSDP）的深度协同，使资源分配能够感知并行策略拓扑、通信模式和显存需求，提升集群级训练效率和资源利用率
研究和实现万卡级训练的高可用与弹性机制，包括快速故障检测与自动诊断、智能恢复策略（冗余计算、在线重配）、弹性伸缩（节点增减时自动调整并行策略）、高效 checkpoint（增量/异步/分层存储）等，提升训练稳定性和有效训练时间占比
探索自动并行策略搜索与动态调整技术，基于性能建模、执行模拟或在线 profiling，自动选择和优化 DP/TP/PP/SP/CP/EP 的多维并行组合，适应异构集群和动态资源环境，降低人工调参成本
参与 PAI-DLC 训练平台核心能力建设，将技术成果沉淀为可产品化的训练调度和稳定性能力，支撑集团内部和云上客户的大模型训练需求
有一定的技术前瞻性，可以对平台演进中的技术需求（如多阶段训练流水线编排、训练-推理混合调度、异构集群适配等）进行预研和设计
优先资格
有很强的学术研究能力和优秀的学术成果（分布式系统/AI 系统/高性能计算领域顶会/顶刊论文）
熟悉集群调度系统（Kubernetes、YARN、自研调度器）的设计与实现
有万卡级大模型训练实战经验，了解训练中的故障模式和稳定性优化
作为核心贡献者参与开发或负责维护 AI 领域的流行开源项目
AI 洞察
优缺点分析
优点
- 接触万卡级大模型训练的最前沿技术，技术壁垒高，个人能力成长极快
- 依托阿里PAI平台，技术成果能直接支撑集团及云上海量客户，业务价值大
- “阿里星”计划提供顶尖的薪酬福利与内部资源倾斜
- 大模型训练系统复杂度极高，涉及软硬件协同，排查和解决底层故障难度大
- 适合具有扎实系统底层基础、对分布式计算和AI基础设施有浓厚兴趣，且具备较强钻研精神和学术/实战背景的顶尖技术人才
缺点 / 挑战
- 技术迭代极快，需要持续跟进最新的框架和硬件发展，学习压力较大
角色解读
- 从AI系统研发工程师成长为AI基础设施架构师或技术专家
- 未来可向大模型底层系统优化、异构计算调度等前沿技术方向深耕，或带领团队负责核心AI平台产品
- 负责大规模模型训练的智能调度系统开发，实现调度器与训练框架的深度协同
- 研究万卡级训练的高可用与弹性机制，提升训练稳定性
- 探索自动并行策略搜索，参与PAI-DLC训练平台核心能力建设
- 扎实的C++/Python编程能力与分布式系统研发经验
- 熟悉PyTorch及分布式训练并行策略（DP/TP/PP/EP）和通信原语
- 熟悉Megatron-LM、DeepSpeed等主流训练框架
申请策略
- 阿里星计划竞争极其激烈，建议提前通过内推渠道投递，并准备好详细的技术作品集或开源项目链接
- 突出在分布式系统、高性能计算或AI系统领域的顶会/顶刊论文成果
- 详细描写参与Megatron-LM、DeepSpeed等框架的实践经历或开源贡献
- 展示万卡级或大规模集群训练的实战排障经验
- 深入研读Megatron-LM、DeepSpeed的源码，理解其并行策略与通信优化机制
- 补充Kubernetes等集群调度系统的底层原理与实践经验
面试指南
- 采用STAR法则，结合具体项目背景，重点阐述问题拆解思路、底层原理分析（如通信原语、显存碎片化）以及最终的量化收益
- 对于系统设计题，从需求分析、架构设计、核心模块到容灾扩展逐步展开
- 请详细描述你在研究或实习中如何优化分布式训练的通信效率？
- 在万卡级训练中，遇到节点故障导致训练中断，你会如何设计自动恢复和checkpoint机制？
- Megatron-LM和DeepSpeed在并行策略和显存管理上有什么核心区别？
- 如何设计一个调度器来感知训练框架的并行策略拓扑和显存需求？
- 复习操作系统、计算机网络和分布式一致性原理
- 深入阅读近期关于大模型训练系统优化的顶会论文（如OSDI, SOSP, NSDI, MLSys）
职位点评
薪资福利90
成长发展95
工作生活50
使命价值85
薪资福利
90较高
作为顶尖校招计划，薪资处于行业绝对头部，且提供完善的福利体系，物质回报极高。
薪资信号偏高 (3.5千–6.5万/月)
成长发展
95较高
处于AI大模型基础设施的最前沿，技术挑战极大，能接触到万卡级集群和顶尖开源框架，技术成长空间无可限量。
技术前沿前沿/新兴技术
技术栈C++、Python、PyTorch、Megatron-LM、DeepSpeed、Kubernetes、NCCL
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，但作为核心研发岗且涉及万卡级训练的高可用保障，可能面临一定的on-call或高强度攻关压力。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
推动大模型底层基础设施的演进，支撑AI时代的算力底座，具有极强的技术使命感与行业推动力。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs