阿里巴巴
千问Qwen训练算法-系统协同前沿技术研究-阿里星
千问Qwen训练算法-系统协同前沿技术研究-阿里星
发布于 9 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Attention
Cuda
Megatron-Lm
Moe
Pytorch
万卡集群
分布式训练
大模型预训练
值不值得投
79综合评分
综合评分 79
前沿大模型研究，技术挑战高，成长空间大，但WLB可能一般。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
38K
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2760 个在招 · 其中算法优化工程师 约 110 个
市场机会
选择面较广
杭州 · 算法优化工程师 · 约 120 个在招
职位详情
关于这个职位
该职位专注于阿里巴巴千问Qwen大模型的预训练算法与系统协同研究，涉及万卡集群训练稳定性保障、效率友好的模型结构设计（如极度稀疏MoE和高效长上下文Attention）以及Self-Evolving训练闭环的基础设施建设
需要算法与系统协同思考能力，推动大模型Scaling Efficiency的持续突破
最低要求
学历与理论基础
（1）全球Top高校计算机科学、人工智能等相关领域博士/顶尖硕士
（2）扎实的深度学习理论基础，对Transformer架构有原理级理解
（3）在MoE（路由策略、负载均衡、Fine-Grained稀疏、Expert Collapse）和/或Attention（混合注意力、MLA、线性Attention、长上下文训练）方向有深入研究
算法-系统协同能力（核心门槛）
（1）精通PyTorch，熟悉Megatron-LM等训练框架的工作机制
（2）具备算法-系统联合思考能力：评估MoE路由策略时能建模通信开销与负载均衡效率
评估Attention变体时能判断对并行策略与Kernel效率的影响
（3）有向Megatron-LM/DeepSpeed/vLLM/PyTorch等开源框架贡献核心代码的经历者优先
分布式训练经验
（1）具备千卡/万卡级分布式训练的实际操作经验
（2）有MoE训练优化、长上下文预训练、或大规模模型稳定性保障中至少一项实战经验
编程与工程素养
（1）精通Python，具备CUDA/Triton Kernel开发能力或强烈意愿
（2）极强的代码功底与工程实践能力，ACM/ICPC等编程竞赛获奖者优先
（3）优秀的跨团队技术沟通能力，能在算法与Infra团队之间建立高效技术对话
研究志向
（1）持续关注大模型预训练前沿（新型架构、新型优化器、新型并行范式），不满足于“跟随开源”，有志于定义下一代大模型预训练算法与架构
工作职责
万卡训练稳定性保障
（1）训练任务稳定性：深度参与万卡集群训练的系统级稳定性保障，从算法与框架层面设计容错策略，包括Checkpoint一致性保障、故障恢复后的训练状态对齐、并行拓扑变更下的梯度一致性维护
（2）Loss稳定性：研究并干预训练过程中的Loss异常现象，包括Loss Spike归因与干预、梯度爆炸/消失的算法级预防、数值溢出检测与自动修复、高稀疏MoE下Activation Explosion的抑制方案
（3）量化友好设计：从模型架构与训练策略层面设计Quantization-Friendly的方案，包括量化感知训练（QAT）策略、激活值分布约束、FP8/低精度训练的数值稳定性设计，确保模型在训练阶段即考虑部署时的量化兼容性
（4）与Infra团队协同，建立训练异常的自动化检测、诊断与告警机制，实现Loss/梯度/激活的实时监控与根因分析
效率友好的模型结构设计
（1）从训练效率与推理成本视角深度参与模型结构设计，为架构决策提供量化依据：
·极度稀疏Fine-Grained MoE：评估不同潜空间维度、Expert池规模、激活数、负载均衡策略对训练吞吐、通信开销、显存占用的综合影响，选型效率最优的稀疏MoE方案与全局均衡算法
·高效长上下文Attention：评估混合注意力架构、线性注意力变体、KV压缩方案在百万Token上下文下的训练FLOPs效率与推理KV Cache开销，选型对Context Parallel与Kernel效率最友好的方案
·与Infra团队协同，将效率评估结论转化为通信模式需求与Kernel需求，推动算法-系统联合设计
Self-Evolving训练闭环的Infra建设
（1）评估Self-Evolving在Qwen场景下的Infra可行性与ROI，从数据规模、训练成本、迭代效率三个维度进行量化判断
（2）深度参与大模型Self-Evolving机制的训练基础设施建设，构建支持模型自我演进的规模化训练闭环：
·设计自生成-评估-回灌的数据流水线，搭建支持Self-Play/自蒸馏/迭代式自训练的多阶段训练编排与调度，平衡Rollout/Training/Evaluation三阶段的资源分配与流水线Overlap，确保自演进过程可控可观测
前沿技术追踪与选型判断
（1）持续追踪SOTA预训练技术，从算法收益、系统开销、工程风险三个维度进行量化评估与选型决策
（2）推动前沿技术从论文复现到万卡规模验证的全流程落地
（3）鼓励在NeurIPS/ICLR/MLSys等顶会发表算法与系统交叉方向的研究成果
优先资格
万卡级MoE/长文本预训练实操与稳定性保障经验
NeurIPS/ICLR/MLSys/ASPLOS等发表MoE架构优化、高效Attention、Self-Evolving相关论文
Megatron-LM/DeepSpeed/vLLM等框架的可追溯核心代码贡献
极度稀疏MoE负载均衡、线性注意力长上下文训练、Self-Play/自蒸馏Infra建设等方向的研究背景
算法-系统交叉研究
AI 洞察
优缺点分析
优点
- 深度参与前沿大模型研究，接触最先进的技术栈和万卡规模集群
- 在大公司平台有丰富资源，支持跨团队协作和顶会发表
- 技术难度极高，需要同时具备算法深度和系统工程能力
- 跨团队协同（如Infra团队）可能带来沟通和项目管理复杂度
缺点 / 挑战
- 算法-系统交叉方向具有较高技术壁垒，个人能力提升空间大
- 研究导向岗位可能面临快速技术迭代和产出压力
- 适合拥有博士或顶尖硕士学历，追求技术深度，具备算法和系统双重背景，愿意解决大规模工程挑战的求职者
角色解读
- 成为大模型预训练领域的技术专家，主导算法与系统协同的创新研究
- 向技术管理岗位发展，带领团队攻克前沿技术挑战
- 在顶级学术会议发表成果，推动行业技术标准制定
- 参与千问Qwen大模型的预训练算法设计与架构优化，专注于算法-系统协同方法论
- 保障万卡集群训练的稳定性，包括Loss异常处理、量化友好设计和自动化监控
- 设计效率友好的模型结构，如极度稀疏MoE和高效长上下文Attention，并评估系统开销
- 建设Self-Evolving训练闭环的基础设施，推动模型自我演进的规模化实现
- 深度学习理论基础，对Transformer架构有原理级理解，熟悉MoE和Attention方向
- 精通PyTorch和Megatron-LM等训练框架，具备CUDA/Triton Kernel开发能力
- 算法-系统联合思考能力，能评估算法设计对通信开销、负载均衡和并行策略的影响
- 千卡/万卡级分布式训练的实战经验，能处理大规模模型稳定性保障问题
申请策略
- 研究阿里巴巴千问Qwen模型的技术博客和论文，了解团队当前研究方向
- 在面试中展示算法-系统协同思考能力，例如如何评估路由策略的系统开销
- 突出博士期间在MoE、Attention或分布式训练方向的研究成果和论文发表
- 强调PyTorch、Megatron-LM等框架的实际使用经验，以及任何开源贡献
- 展示ACM/ICPC等编程竞赛获奖经历或CUDA/Triton开发项目案例
- 列举参与过的千卡/万卡级训练项目，说明具体贡献和解决的问题
- 深入学习CUDA/Triton Kernel开发，参与开源框架如Megatron-LM的代码贡献
- 加强对大规模训练系统设计的理解，包括通信优化、容错机制等
面试指南
- 结合理论（如梯度一致性、负载均衡算法）和实践经验，从算法优化和系统协同两方面阐述解决方案
- 使用量化评估框架，例如分析FLOPs效率、通信开销、显存占用，提供数据驱动的决策依据
- 分步骤描述实施过程，强调跨团队协作和可行性验证，如自动化监控和根因分析机制
- 如何设计训练任务稳定性保障方案，以应对万卡集群中的故障和拓扑变更？
- 评估一个极度稀疏MoE路由策略时，你会考虑哪些系统开销指标（如通信、负载均衡）？
- Self-Evolving训练闭环的Infra可行性如何从数据规模、训练成本、迭代效率维度分析？
- 如何设计量化友好方案，确保模型在训练阶段兼容FP8/低精度部署？
- 复习Transformer架构、MoE路由策略、分布式训练原理等核心知识
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
该职位在上市平台，薪资具有市场竞争力，福利体系完善。
薪资信号偏高 (2.5–5万/月)
成长发展
90较高
职位涉及大模型预训练前沿技术，技术成长空间大，有顶会发表机会。
技术前沿前沿/新兴技术
技术栈MoE、Attention、PyTorch、CUDA、分布式训练
成长机会鼓励在NeurIPS/ICLR/MLSys等顶会发表研究成果
业务类型profit_center
工作生活
50较低
未提及工作生活平衡信息，基于技术密集型岗位性质，工作强度可能较高。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与大模型预训练研究，推动人工智能技术发展，行业前景广阔。
行业发展高速增长赛道
社会影响中性/一般
创新程度稳健跟随主流
Watch Jobs