蚂蚁集团
蚂蚁集团-大模型预训练引擎研发专家-百灵团队
蚂蚁集团-大模型预训练引擎研发专家-百灵团队
发布于 大约 9 小时前普通员工/个人贡献者
上海市 / 杭州市
高级经验
全职员工
仅现场办公
学历未注明
机器学习工程
Cuda
Deepspeed
Megatron
Pytorch
分布式训练
大模型预训练
并行策略
训练加速
AI 估算 · 40k–80k
资深大模型Infra专家稀缺，薪资竞争力强，结合一线城市和巨头平台。
职位详情
关于这个职位
该职位负责蚂蚁集团百灵大模型的预训练训练系统研发与优化，聚焦大规模分布式训练的效率、扩展性和稳定性
你将参与到训练加速、并行策略、算子优化等核心工作中，与算法团队协作推动模型迭代
适合对大模型Infra有深入经验的技术专家
最低要求
具有大模型并行策略/大规模分布式系统设计与研发优化经验
熟悉 CUDA、Cutlass 或主流通信优化原理，具备实际性能分析与调优经验
熟悉主流深度学习框架及分布式训练生态，包括但不限于 PyTorch、Megatron、DeepSpeed、Hugging Face
具备较强的系统分析与抽象能力，能够从第一性原理出发理解和设计系统
对 scaling law、系统瓶颈分析与训练效率建模有较深入理解
具备良好的数学建模能力，能够将复杂工程问题抽象并转化为可验证、可优化的方案
工作职责
大模型训练加速：并行策略、低精度计算、算子与显存优化、跨机通信、数据预处理
超大规模训练效率优化：面向万卡级场景研究 scaling 理论与系统性能上限
算法 / 系统 co-design：与算法团队协同设计和优化模型架构与训练策略
深度学习基础设施建设：参与蚂蚁容错系统 DLRover 的研发与演进
优先资格
有文本、语音、图像、推荐等一个或多个方向模型经验者优先
AI 洞察
优缺点分析
优点
- 团队技术氛围浓厚，与顶尖算法同事合作
- 薪资福利优厚，职业前景广阔
- 工作强度较大，需要跟进前沿技术快速迭代
- 对系统底层和分布式并行要求极高，学习曲线陡峭
- 需要扎实的工程能力和数学基础
缺点 / 挑战
- 蚂蚁集团百灵大模型是核心项目，技术挑战大，有超大规模集群实战机会
- 适合有深厚分布式系统经验、对大模型训练充满热情、愿意挑战技术难点的资深工程师
角色解读
- 成为大模型训练系统架构专家
- 向AI基础设施技术负责人发展
- 或者转向算法与系统协同优化方向
- 负责百灵大模型训练系统的架构设计、性能优化与稳定性保障
- 与算法团队协同优化模型架构与训练策略
- 针对万卡级集群研究scaling理论与系统瓶颈
- 参与深度学习框架和容错系统研发
- 精通分布式训练框架（PyTorch、Megatron、DeepSpeed）
- 掌握CUDA编程与GPU通信优化
- 具备系统性能分析能力，能够从第一性原理优化大规模训练
- 有数学建模和scaling law理解
申请策略
- 可以准备一个你从零优化训练效率的案例
- 关注蚂蚁开源的DLRover项目
- 面试前了解百灵模型的技术方向
- 突出大模型并行策略优化经验（如Megatron/DeepSpeed）
- 展示CUDA或通信优化实际项目
- 体现系统性能分析和调优案例
- 提及参与过大规模训练集群搭建
- 补充scaling law相关理论基础
面试指南
- 对于优化问题，遵循分析瓶颈->提出方案->实施效果的结构
- 对于框架对比，从设计思想、优缺点、适用场景展开
- 对于系统设计，自上而下分层分析
- 描述你如何优化一个大规模分布式训练的性能瓶颈？
- Megatron与DeepSpeed的并行策略差异及适用场景？
- 如何设计一个可扩展到万卡的训练系统？
- 如何与算法团队协同优化模型架构以适配分布式训练？
- CUDA中一个常见性能问题及如何排查
职位点评
79
综合评分
前沿大模型训练Infra、高薪酬高发展、WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合优先追求技术成长和职业发展的技术专家。
表现最好
成长发展
相对薄弱
工作生活
薪资福利90
成长发展95
工作生活40
使命价值75
薪资福利
90较高
蚂蚁集团作为头部互联网公司，薪资水平具有很强的竞争力，且该岗位为技术专家级别，补偿性动机满足度高。
薪资信号未披露（AI估算：40K-80K/月）
成长发展
95较高
岗位专注于最前沿的大模型训练技术，使用最先进的技术栈，与顶尖团队合作，发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈CUDA、PyTorch、Megatron、DeepSpeed、分布式训练
业务类型profit_center
工作生活
40较低
需要现场办公，且大厂研发强度较大，生活化动机满足度较低。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
参与通用大模型研发，技术影响力大，但商业化压力也大，意义感中等偏上。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
蚂蚁集团 的其他在招职位
相似职位推荐
Watch Jobs