阿里巴巴
Token Foundry-训练系统算法工程师-Qwen
Token Foundry-训练系统算法工程师-Qwen
发布于 大约 14 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
3D并行
Deepspeed
Megatron-Lm
Moe
Nsys
Ppo/Grpo
Rlhf
Troubleshooting
分布式训练
值不值得投
79综合评分
综合评分 79
大厂核心AI训练团队，前沿技术，高薪高压，发展空间大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
45K
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1580 个在招 · 其中算法优化工程师 55 个
市场机会
选择面较广
杭州 · 算法优化工程师 · 51 个在招
职位详情
关于这个职位
这个职位负责大规模大模型训练系统的算法与框架优化，包括RL训练策略设计、分布式训练框架二次开发、集群稳定性保障等
你将与基础设施团队协作，解决千卡/万卡训练中的疑难杂症，并探索前沿训练技术
适合对分布式系统和大模型训练有深入理解、喜欢挑战技术难题的工程师
最低要求
学历与基础： 计算机科学、人工智能或相关专业本科及以上学历（硕博优先），具备扎实的深度学习理论基础，熟悉Transformer架构及LLM预训练/后训练（RLHF/RL）核心算法
框架能力： 深入理解主流大模型训练框架（Megatron-LM, DeepSpeed, FSDP等）的工作机制与架构设计，具备丰富的源码级Debug、二次开发及插件编写能力
分布式与调度经验： 熟悉GPU并行计算原理及集合通信原语，具备大规模分布式训练系统设计经验
有RL后训练多模型调度、MoE专家并行（EP）通信优化、或长文本Context Parallel实际落地经验者优先
问题排查能力： 具备极强的Troubleshooting能力，熟练使用Nsys、Torch Profiler等工具，能够独立定位并解决大规模集群训练中的性能瓶颈、Loss异常及系统崩溃问题
编程与协同： 精通Python
具备极强的跨团队沟通能力和目标导向意识
工作职责
训练策略设计与优化： 深入理解预训练与RL后训练（如PPO/GRPO等）算法流程，设计并优化大规模分布式训练策略（3D并行、MoE EP、Context Parallel等），解决RL阶段多模型（Actor/Critic/Rollout/Ref）交互的复杂调度与显存墙问题
框架定制与二次开发： 基于主流训练框架（如Megatron-LM, DeepSpeed等），进行应用层和策略层的二次开发与插件编写，快速支持新模型架构（如长文本、多模态、新型MoE）和新优化器（如Muon, SOAP）的落地验证
大规模训练稳定性保障（Troubleshooting）： 负责千卡/万卡集群训练的稳定性攻坚
排查并解决训练过程中的Loss Spike、OOM、Hang、通信死锁等疑难杂症，开发自动化诊断、监控与容错恢复工具链
跨团队协同与联合调优： 作为算法侧接口人，与Infra团队紧密协同
从算法和框架视角提出性能优化需求，配合底层团队完成算子、通信库及硬件层面的联合Profiling与调优，而非独立承担底层基建开发
前沿技术追踪与落地： 跟踪SOTA大模型训练技术，评估新技术在Qwen训练场景下的适用性，推动训练框架在算法侧的持续演进
优先资格
具备千卡/万卡规模大模型预训练或RL训练的实际实操与稳定性保障经验
在系统顶会（OSDI/SOSP/ASPLOS等）或AI顶会（NeurIPS/ICLR等）发表过相关论文
在知名开源大模型训练框架（如Megatron-LM, vLLM等）中有核心代码贡献
AI 洞察
优缺点分析
优点
- 接触前沿大模型训练技术，与行业顶尖团队协作
- 阿里巴巴平台和资源支持，千卡/万卡集群实战机会
- 高薪高福利，大厂背书，职业发展空间大
- 参与核心AI基础设施，提升横向技能
- 工作强度大，需要攻坚复杂技术问题，可能面临高压
- 技术更新快，需持续学习保持竞争力
- 跨团队协作要求高，需要良好的沟通和推动能力
- 适合对大规模分布式系统充满热情、喜欢解决高难度技术问题、具备扎实工程与算法背景的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 在阿里云Qwen团队可深入掌握前沿大模型训练技术，成长为分布式训练算法专家
- 有机会参与顶级开源项目（如Megatron-LM）贡献，提升行业影响力
- 可向技术管理方向或AI Infra架构师方向发展
- 设计并优化大规模大模型训练策略，包括预训练和RL后训练（PPO/GRPO），解决多模型交互调度和显存优化问题
- 基于Megatron-LM、DeepSpeed等框架进行二次开发，支持新模型架构和优化器的快速落地
- 负责千卡/万卡集群训练的稳定性保障，排查Loss Spike、OOM、死锁等疑难问题，开发自动化诊断工具
- 与Infra团队协同，从算法和框架视角提出性能优化需求，推动联合调优
- 扎实的深度学习理论基础，熟悉Transformer及相关算法
- 深入理解主流大模型训练框架（Megatron-LM, DeepSpeed等）的架构，具备源码级二次开发能力
- 熟悉GPU并行计算和集合通信，有大规模分布式训练系统设计经验
- 精通Python，具备优秀的Troubleshooting能力和跨团队沟通能力
申请策略
- 关注Qwen团队的公开技术分享，了解其训练架构
- 在面试中展示对训练稳定性问题的系统思考能力
- 突出分布式训练项目经验，特别是千卡/万卡规模的实践
- 展示对训练框架源码的理解和二次开发经历
- 强调Troubleshooting案例，如解决Loss异常、集群故障等
- 如有开源贡献或顶会论文，重点展示
- 深入研究Megatron-LM和DeepSpeed的源码，了解3D并行和MoE实现
- 掌握Nsys、Torch Profiler等性能分析工具的使用
面试指南
- 使用STAR法则描述项目经验，突出挑战、方案和结果
- 对于技术问答，从原理到实践逐步深入，展示系统性思维
- 结合具体案例，强调问题定位和解决的逻辑
- 你如何设计大模型RL训练的多模型调度方案？
- 遇到Loss Spike时，你会如何排查和解决？
- 谈谈你对Megatron-LM中3D并行机制的理解
- 如何优化MoE模型在专家并行下的通信效率？
- 你有哪些大规模分布式训练稳定性保障的实战经验？
职位点评
薪资福利85
成长发展95
工作生活45
使命价值80
薪资福利
85较高
阿里巴巴为一线大厂，薪资福利有竞争力，上市企业稳定，补偿性动机满足度较高。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
95较高
涉及前沿分布式训练技术，与顶尖团队合作，技术成长空间巨大，发展性动机高度满足。
技术前沿前沿/新兴技术
技术栈Megatron-LM、DeepSpeed、RLHF、PPO/GRPO、MoE、3D并行、Nsys
业务类型ambiguous
工作生活
45较低
未提及远程或弹性工作，大厂通常加班较多，工作节奏偏快，生活化动机满足度一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
服务于Qwen等大模型训练，推动AI技术进步，行业前景好，意义感较强。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs