阿里巴巴
研究型实习生-Training Infra工程师
研究型实习生-Training Infra工程师
发布于 1 天前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Cuda
Megatron-Core
Moe
Nccl
Pytorch
分布式训练
大模型架构
性能优化
值不值得投
75综合评分
综合评分 75
前沿技术栈、高成长空间、实习津贴规范，但工作强度与地点需进一步确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
1.0万
比机器学习工程中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 3760 个在招 · 其中机器学习工程 约 210 个
市场机会
选择面较广
杭州 · 机器学习工程 · 约 290 个在招
职位详情
关于这个职位
负责大模型分布式训练基础设施建设与优化，支撑新模型结构快速接入及大规模训练任务的高效稳定运行
需深入掌握并行训练策略、分布式通信与显存优化，并具备复杂问题排查与测试体系建设能力
适合对AI底层架构与高性能计算有浓厚兴趣的实习生
最低要求
熟练掌握 Python、PyTorch，熟悉 Megatron-Core、Transformer Engine 等大模型训练框架
有新模型结构接入分布式训练框架的实践经验，能够独立完成模型适配、权重转换和训练验证
深入理解 TP、PP、DP、CP、EP、SP 等并行策略的原理、约束及组合方式
理解 Attention、稀疏 Attention、线性 Attention、MoE 等模型结构及其并行训练特点
熟悉 PyTorch Autograd、混合精度、梯度累积、分布式通信和分布式 Checkpoint
能够系统定位 Loss 异常、数值不稳定、训练 Hang、OOM、通信超时和性能退化等问题
具备多机多卡训练的数值正确性与性能测试能力
具备良好的系统设计、工程实现和复杂问题排查能力
工作职责
负责新模型结构在 Megatron 等并行训练框架中的适配，包括模型实现、并行切分、权重转换和训练链路接入
建设和优化多机多卡训练系统，合理组合 TP、PP、DP、CP、EP、SP 等并行策略
完善分布式 Checkpoint、自动 Resume、故障检测及容错恢复机制，提升长周期训练任务的稳定性
支持 Attention、稀疏 Attention、线性 Attention、MoE 等模型结构的高效训练
定位和解决长上下文及超大规模训练中的显存、通信、负载均衡、数据流水线和算子瓶颈
建设多卡数值对齐、梯度正确性、Checkpoint 一致性、显存和吞吐回归测试体系
优化混合精度训练、通信计算重叠、显存管理及关键 CUDA/Triton 算子
优先资格
【加分项】
具备 CUDA、Triton 或其他高性能算子开发和优化经验
熟悉 NCCL、RDMA、通信拓扑以及通信计算重叠优化
有 MoE、超长上下文或千卡级大模型训练经验
熟悉 FP8/BF16 训练、Loss Scaling、累加误差及数值稳定性优化
有训练平台、自动容错、可观测性或大规模集群调度系统建设经验
AI 洞察
优缺点分析
优点
- 直接参与最前沿的大模型训练基建，技术视野与行业天花板极高
- 接触千卡级真实生产环境，积累高并发分布式系统与底层调优的稀缺经验
- 依托头部互联网公司的算力资源与数据规模，项目落地价值与简历背书强
- 团队技术氛围浓厚，有机会与资深架构师共事，获得高质量的技术指导
- 技术栈极深，需同时掌握算法原理、分布式系统与底层硬件知识，学习曲线陡峭
- 实际业务节奏较快，需适应高频迭代与多任务并行的工作模式
- 适合计算机/软件工程/人工智能相关专业，对底层系统架构有强烈好奇心，且具备扎实编程与数学基础的在校生
缺点 / 挑战
- 长周期训练任务对稳定性要求苛刻，排查复杂问题时压力较大
- 实习生独立负责的模块边界可能较窄，需主动争取核心链路参与机会
角色解读
- 向大模型训练平台架构师演进，主导下一代分布式训练系统的研发与迭代
- 转向AI基础设施产品化方向，负责训练集群调度、可观测性与自动化运维体系建设
- 深耕高性能计算领域，成为CUDA算子开发与跨硬件加速优化的专家
- 搭建并维护大模型分布式训练基础设施，确保千卡级训练任务稳定高效运行
- 将新型模型结构（如MoE、Attention变体）适配到Megatron等主流并行训练框架中
- 设计自动化测试与监控体系，保障多卡训练的数值正确性与Checkpoint一致性
- 深度调优显存管理、通信重叠与自定义算子，突破长上下文训练的性能瓶颈
- 精通Python与PyTorch生态，熟练掌握Megatron-Core、Transformer Engine等训练框架
- 深刻理解TP/PP/DP等并行策略原理，能灵活组合策略以适配不同模型规模
- 具备分布式通信（NCCL/RDMA）、混合精度训练与梯度累积的底层实现能力
- 拥有复杂系统调试经验，能快速定位OOM、通信超时、数值不稳定等训练异常
申请策略
- 提前了解目标团队近期开源的训练框架或技术博客，面试时结合其技术路线提问
- 准备1-2个完整的性能调优案例，按背景-方案-指标-复盘的结构整理成STAR格式
- 突出分布式系统或高性能计算相关项目，明确说明使用的并行策略与优化指标
- 详细列出PyTorch/Megatron等框架的实际使用经验，附带模型适配或调优案例
- 量化展示性能提升成果（如显存降低比例、吞吐量提升百分比、训练耗时缩短等）
- 强调复杂问题排查能力，提供具体定位Loss异常或通信瓶颈的实战经历
- 补充CUDA/Triton基础语法，尝试手写简单算子并对比原生实现性能差异
- 系统复习分布式训练理论，重点梳理TP/PP/DP的数据流与通信开销模型
面试指南
- 采用分层排查法：先确认数据流与梯度同步是否正常，再检查显存分配与通信拓扑，最后定位算子级瓶颈
- 遵循假设-验证-收敛逻辑：提出可能的根因（如通信阻塞、内存泄漏、精度溢出），设计隔离实验逐一排除
- 结合理论公式与实际指标：用带宽延迟模型解释通信开销，用显存占用表验证策略可行性
- 请描述你如何设计一个支持动态批处理的分布式训练流水线？
- 当训练出现Loss不下降或NaN时，你的排查思路与定位步骤是什么？
- TP与PP并行策略在显存占用和通信开销上有何本质区别？如何组合使用？
- 如何实现高效的混合精度训练？FP16与BF16在数值稳定性上各有什么取舍？
- 如果多机多卡训练中某节点频繁触发OOM，你会从哪些维度进行诊断与优化？
职位点评
薪资福利65
成长发展92
工作生活55
使命价值78
薪资福利
65中等
实习津贴处于市场中上水平，但作为短期岗位缺乏长期薪酬增长与完整福利体系支撑。
薪资信号未披露（AI估算：7.0千–1.2万/月）
成长发展
92较高
岗位直击大模型训练基建核心痛点，技术栈高度前沿，能提供极强的底层系统能力跃迁机会。
技术前沿前沿/新兴技术
技术栈Megatron-Core、Transformer Engine、CUDA、Triton、NCCL、MoE、FP8/BF16
业务类型ambiguous
工作生活
55较低
未明确标注弹性工时或远程政策，基础设施类岗位通常需配合训练周期保障在线响应，WLB存在不确定性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
78中等
致力于构建高效稳定的AI训练底座，直接推动大模型技术普惠与产业智能化升级，具备显著的行业正向价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs