阿里巴巴
大模型Infra研发工程师（训练/推理）
大模型Infra研发工程师（训练/推理）
发布于 10 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Gpu架构
Pytorch
Tensorflow
分布式训练
推理引擎
模型量化
值不值得投
80综合评分
综合评分 80
AI大模型核心底层Infra岗，技术前沿且成长空间极大，薪资极具竞争力，但工作节奏快、挑战极高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
7万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3000 个在招 · 其中机器学习工程 约 180 个
市场机会
选择面较广
杭州 · 机器学习工程 · 约 260 个在招
职位详情
关于这个职位
该职位主要负责大模型全链路训练优化与推理引擎研发，攻克分布式性能瓶颈并降低在线时延与计算成本
你需要进行软硬件联合优化，实现从预训练到模型部署的端到端技术突破，保障万亿级参数模型的交付
最低要求
本科及以上学历，计算机、人工智能、软件工程、数学相关专业优先
精通 C++/Python，具备卓越的工程实现能力
熟练掌握 PyTorch 或 TensorFlow，深入理解其内部机制及算子实现
熟悉 GPU 硬件架构及并行计算原理，掌握主流训练框架或推理框架
熟悉 Transformer 架构，对模型量化、蒸馏、剪枝或算子优化（CUDA/Triton）中的某一项有深入研究或实践经验
具备极佳的逻辑分析能力和数理基础，对前沿问题有持续热情，能适应快节奏的研发环境，具有跨学科协作意识
工作职责
负责大模型全链路训练优化，攻克 Scaling Law 过程中的分布式性能瓶颈，提升 MFU（算力利用率）和训练稳定性，保障万亿级参数模型的交付
设计并研发领先的推理引擎，包括但不限于算子融合、动态图优化、量化压缩（FP8/INT4）、高效 CUDA 算子开发等，降低模型在线时延与计算成本
针对特定业务场景，进行软硬件联合优化，实现从预训练、SFT、RLHF 到模型部署的端到端技术突破
优先资格
科研影响力：在 NeurIPS, ICLR, ICML, ACL, OSDI, SOSP 等计算机顶会以第一作者发表过论文
深度参与过主流 MLSys 相关开源项目（如 vLLM, OpenRLHF, Megatron 等）的开发或在 ACM/ICPC、Kaggle 等竞赛中获得过顶尖名次
AI 洞察
优缺点分析
优点
- 处于AI大模型爆发的核心赛道，技术壁垒极高，个人技术价值与市场竞争力将大幅提升
- 能够接触到万亿级参数模型和顶尖算力资源，积累稀缺的大规模分布式系统与推理优化经验
- 岗位对科研和开源贡献有明确加分，有利于保持技术敏锐度并建立行业影响力
- 适合对底层系统和高性能计算有浓厚兴趣，具备扎实数理基础与极强工程能力，且渴望在AI基础设施领域深耕的顶尖技术人才
缺点 / 挑战
- 技术迭代极快，需要持续跟进前沿论文和开源社区动态，学习压力较大
- 大模型Infra优化属于深水区，面临极高的技术难度和工程挑战，需要极强的抗压能力
角色解读
- 可向大模型Infra技术专家、首席架构师方向发展，成为AI底层系统领域的顶尖技术领袖
- 也可转型为大模型业务团队的技术负责人，主导AI基础设施的整体规划与落地
- 负责大模型训练全链路优化，解决分布式计算中的性能瓶颈，提升算力利用率（MFU）
- 设计并研发高效的推理引擎，通过算子融合、量化压缩等技术降低模型推理时延和计算成本
- 进行软硬件联合优化，打通从预训练、SFT、RLHF到模型部署的端到端流程
- 精通C++/Python及PyTorch/TensorFlow底层机制，具备极强的工程实现能力
- 深入理解GPU硬件架构、并行计算原理及Transformer架构
- 在模型量化、算子优化（CUDA/Triton）或分布式训练框架方面有深厚积累与实践经验
申请策略
- 提前了解公司大模型的业务背景及算力集群规模，面试时展现出对Scaling Law和系统瓶颈的深刻理解
- 重点突出在分布式训练、推理引擎优化或CUDA算子开发方面的实际项目经验与性能提升数据
- 若有顶会论文（NeurIPS/OSDI等）或主流开源项目（vLLM/Megatron等）的核心贡献，务必放在简历显眼位置
- 深入研读主流大模型训练/推理框架（如Megatron, vLLM）的源码，理解其底层通信与计算优化机制
- 补充学习最新的量化技术（如FP8）和Triton算子开发，提升底层硬件编程能力
面试指南
- 采用STAR法则，重点突出“问题背景-技术难点-解决方案-量化收益”
- 在回答底层优化问题时，需结合GPU硬件架构（如显存带宽、计算单元、通信拓扑）进行深度剖析，展现对底层原理的透彻理解
- 在分布式训练中，如何解决大规模集群下的通信瓶颈和容错问题？
- 请详细描述你做过的一项CUDA算子优化或推理加速工作，性能提升了多少？
- 针对Transformer架构，有哪些常见的量化压缩策略？FP8和INT4在实际部署中各有什么优缺点？
- 如何提升大模型训练的MFU（算力利用率）？你在过往项目中采取了哪些具体措施？
- 复习并行计算原理、GPU架构及主流深度学习框架的底层实现
- 准备1-2个自己主导的、具有显著性能提升的硬核技术项目，并能清晰讲解其中的技术细节和踩坑经验
职位点评
薪资福利90
成长发展95
工作生活40
使命价值85
薪资福利
90较高
大模型Infra属于当前AI领域最核心且稀缺的岗位，薪资极具竞争力，且整体薪酬福利体系完善。
薪资信号未披露（AI估算：5千–9万/月）
成长发展
95较高
岗位处于AI大模型技术最前沿，能接触到万亿级参数模型和顶尖算力，技术成长空间极大，且鼓励科研与开源贡献。
技术前沿前沿/新兴技术
技术栈C++、Python、PyTorch、TensorFlow、GPU、CUDA、Triton、Transformer、vLLM、Megatron
业务类型cost_center
工作生活
40较低
JD明确要求“能适应快节奏的研发环境”，且大模型Infra研发通常面临较高的项目交付压力和算力资源竞争，工作强度较大。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
85较高
大模型是引领下一代技术革命的核心领域，岗位致力于突破AI算力与系统瓶颈，具有极高的技术使命感与行业推动价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Machine Learning Internship - PhD: 2027
Susquehanna International Group · 香港特别行政区
AI 估算 · 4–8万10 小时前发布
Quantitative Systematic Trading Internship - Master's: Summer 2027
Susquehanna International Group · 香港特别行政区
AI 估算 · 3.5–5.5万10 小时前发布
Quantitative Researcher - Machine Learning
Point72 · 香港特别行政区
AI 估算 · 10–25万10 小时前发布
Watch Jobs