Alibaba logo
阿里巴巴
AI Infra实习生-训练方向(研究型)

AI Infra实习生-训练方向(研究型)

发布于 1 小时前

实习/见习

AI 估算 · 8.0千–1.5万 · AI 参考估算
无经验要求
硕士
实习生仅现场办公AI算法
AI算法
Deepspeed
Flashattention
Megatron
Rl训练
Verl
低精度量化
大模型训练加速
算子融合
论文复现

值不值得投

75综合评分

综合评分 75

前沿大模型训练加速研究型实习,技术成长强,生活安排与薪资信息需确认

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便比较实习机会。

薪资怎么样

1.2万

比AI算法中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 5160 个在招 · 其中AI算法 约 110 个

市场机会

选择面较广

杭州 · AI算法 · 约 120 个在招

职位详情

关于这个职位

这是一个面向硕博研究型实习生的大模型训练加速岗位,聚焦超大规模文本与多模态模型的pretrain、post-training和alignment效率优化

你将参与强化学习训练加速、低精度量化、流水调度、算子融合等前沿策略研究,并把成果沉淀为工程原型、论文或开源贡献

最低要求

在读硕士或博士,研究型/学术背景优先

有扎实的数学基础,理解大模型训练性能加速和稳定性提升的基本方法
熟悉一种或多种大模型训练框架和组件(如 megatron、deepspeed、 veRL、openRLHF、flash-attn, TE) 或有实现过算力融合,流水调度优化的经验
良好的实验设计能力与论文阅读/撰写能力,能阅读并复现顶会算法
实习期6个月起,能长期实习优先

工作职责

研究RL场景加速技术,探索前沿的训推分离、梯度压缩、通信压缩、计算压缩 相关技术,改进RL场景不同模型的训练效率,提升e2e吞吐达到业界SOTA水平

研究前沿的pretrain加速技术,探索不同模态下的 IO/流水调度/算子融合/低精度量化 等加速策略,改进超大规模训练下训练效率,提升MFU
研究大模型训练策略自动寻优技术,通过模型显存、计算、通信 自动化分析和模拟,实现不同模型在不同硬件、不同规模下的训练性能最大化
将研究成果落地为可复现的工程原型,集成/对接业界主流的开源训练框架(megatron/veRL);
撰写技术报告与论文,与团队成员及外部学术界保持沟通交流

优先资格

熟悉算子融合,量化、流水调度,在线数据packing相关方法

有大规模训练加速、稳定性提升、异构硬件适配经验
在相关国际期刊/会议发表过论文或有开源项目/代码仓库者优先

AI 洞察

优缺点分析

优点

  • 岗位直接面向大模型训练加速前沿问题,能接触RL场景加速、pretrain加速、多模态训练和自动寻优等高价值课题
  • 鼓励论文发表和开源贡献,对希望积累学术成果和行业影响力的硕博实习生非常友好
  • 能参与超大规模真实训练场景,研究问题与工程落地结合紧密,成长曲线较陡
  • 可接触Megatron、veRL、DeepSpeed、FlashAttention等主流框架和组件,技术栈具有较强迁移价值
  • 大模型训练实验成本高,调参、复现和性能验证周期可能较长,对耐心和实验设计能力要求高
  • 实习期要求6个月起且长期实习优先,对学业安排和时间投入有一定要求
  • 适合在读硕士或博士,尤其是有大模型训练、分布式系统、性能优化、RL训练或学术论文/开源项目经验的候选人

缺点 / 挑战

  • 研究型岗位对数学基础、系统实现和论文能力要求都较高,需要同时具备科研品味和工程落地能力

角色解读

  • 短期可以积累大模型训练加速、RL训练系统和分布式性能优化的实战经验,形成高质量论文、开源项目或技术报告
  • 中期可向AI Infra研究员、大模型训练系统工程师、性能优化专家等方向发展,深入训练框架、异构硬件适配和自动调优系统
  • 长期可成长为大模型基础设施方向的技术专家,参与更大规模训练平台、训练策略自动寻优和前沿训练架构建设
  • 研究大模型强化学习和预训练阶段的训练加速策略,包括训推分离、梯度压缩、通信压缩、计算压缩、流水调度和算子融合等方向
  • 围绕超大规模文本和多模态模型训练,分析显存、计算与通信瓶颈,设计自动化性能寻优方案,提升训练吞吐和MFU
  • 将研究方法实现为可复现的工程原型,并对接Megatron、veRL等主流开源训练框架
  • 参与技术报告、论文撰写和学术交流,推动研究成果形成论文、开源贡献或可落地方案
  • 需要具备大模型训练体系和性能优化基础,理解分布式训练、稳定性提升、显存/通信/计算瓶颈分析等核心问题
  • 需要熟悉至少一种主流训练框架或组件,如Megatron、DeepSpeed、veRL、openRLHF、FlashAttention、TE等
  • 需要具备较强科研能力,包括论文阅读、顶会算法复现、实验设计和结果分析
  • 需要具备工程实现能力,能把研究策略转化为可复现原型,并与开源训练框架集成

申请策略

  • 投递时建议明确说明可实习时长、每周到岗时间,以及是否能在北京、广州、杭州三地中选择或调剂
  • 由于岗位强调科研驱动,建议在简历或邮件中突出论文阅读、实验设计、论文写作和开源贡献意愿
  • 重点突出与大模型训练加速相关的研究经历,如通信压缩、梯度压缩、流水调度、算子融合、低精度量化或训推分离等具体课题
  • 写明熟悉的框架和组件,包括Megatron、DeepSpeed、veRL、openRLHF、FlashAttention、TE等,并说明实际做过什么优化
  • 展示可量化成果,例如吞吐提升、MFU提升、显存降低、通信开销下降、训练稳定性改善或复现实验结论
  • 如果有论文、开源仓库、技术报告或比赛项目,应附上链接并说明个人贡献,尤其是顶会论文复现或大规模训练相关项目
  • 面试前可系统复习分布式训练基础,包括数据并行、张量并行、流水并行、ZeRO、通信集合操作和显存分析方法
  • 建议准备一个可展示的训练加速项目,能够讲清楚问题定义、瓶颈定位、优化策略、实验设计和结果评估

面试指南

  • 项目类问题采用“背景—瓶颈—方案—实验—结果—反思”的结构,重点讲清楚指标变化和自己的具体贡献
  • 技术类问题先讲原理,再讲适用条件和权衡,例如吞吐、显存、通信开销、稳定性和实现复杂度之间的取舍
  • 研究类问题强调实验设计,包括baseline选择、控制变量、可复现性、消融实验和指标定义
  • 请介绍一个你做过的大模型训练或性能优化项目,你具体负责哪部分,最终提升了哪些指标?
  • 如何定位大模型训练中的性能瓶颈?你会如何从计算、通信、显存和IO几个维度分析?
  • 你如何理解RL训练中的训推分离、梯度压缩或通信压缩?各自适用什么场景?
  • 你复现过哪些顶会算法或论文?复现过程中遇到过哪些问题,如何解决?
  • 如果让你在Megatron或veRL上实现一个加速策略,你会如何设计实验验证其有效性?

职位点评

薪资福利70
成长发展95
工作生活45
使命价值82

薪资福利

70中等

JD未披露薪资和福利信息,因此补偿性动机只能基于岗位层级和城市做有限判断。作为研究型实习,更偏向技术成长与项目经历积累,薪资稳定性信息不足。

薪资信号未披露(AI估算:8.0千–1.5万/月)

成长发展

95较高

岗位聚焦大模型训练加速前沿方向,涉及RL加速、pretrain加速、自动寻优、开源框架集成和论文发表,技术成长价值非常突出。JD明确鼓励顶会/期刊论文与开源贡献,对研究型实习生发展性极强。

技术前沿前沿/新兴技术
技术栈大模型训练加速、RL场景加速、训推分离、梯度压缩、通信压缩、计算压缩、pretrain加速、IO、流水调度、算子融合、低精度量化、Megatron、veRL
成长机会鼓励发表顶会/期刊论文与开源贡献、与团队成员及外部学术界保持沟通交流
业务类型ambiguous

工作生活

45较低

JD明确列出北京、广州、杭州三个城市,但未说明远程、混合办公、弹性工时或双休等信息。实习期要求6个月起且长期实习优先,生活灵活性信息有限。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

82较高

岗位处于大模型训练基础设施和高效训练前沿,技术方向具备较强行业前沿性和研究价值。JD未直接描述社会使命,但通过论文、开源和SOTA目标体现出较强的技术推动价值。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs