阿里巴巴
阿里国际站/Alibaba.com-AI Infra大模型训练/分布式训练工程师（后训练/RL）-Accio Work
阿里国际站/Alibaba.com-AI Infra大模型训练/分布式训练工程师（后训练/RL）-Accio Work
发布于 大约 14 小时前普通员工/个人贡献者
杭州市
高级经验
全职员工
仅现场办公
本科
机器学习工程
Cuda
Gpu集群
Megatron
Nccl
Pytorch
Rlhf
Sglang
分布式训练
AI 估算 · 40k–70k
阿里AI Infra岗位技术门槛高，涉及大模型训练和RLHF等前沿领域，薪资竞争力强，通常为16薪。
职位详情
关于这个职位
作为阿里国际站AI Infra团队的核心成员，你将专注于大模型后训练（Post-training）和强化学习（RL）场景下的分布式训练基础设施
工作内容包括使用Megatron和SGLang等框架，优化大规模并行训练与推理性能，并建设高效的监控和调试工具，以支撑模型团队快速迭代
该职位技术挑战高，涉及前沿的分布式系统和AI技术，适合对技术有热情、追求深度影响的工程师
最低要求
扎实的工程能力，熟悉 Python，最好熟悉一种系统语言或高性能计算相关语言，例如 C++、CUDA、Rust 或 Go
熟悉 PyTorch 生态，理解大模型训练的基本流程，包括 forward/backward、optimizer、checkpoint、activation checkpointing、mixed precision 等
有分布式系统或大规模训练经验，理解 GPU 集群、NCCL、通信开销、显存瓶颈、吞吐优化和故障恢复
对 Megatron、DeepSpeed、FSDP、SGLang、vLLM、TensorRT-LLM、Ray 等训练或推理系统中的至少一类有实际使用或开发经验
理解大模型 post-training 的基本范式，例如 SFT、DPO、PPO、GRPO、RLHF、RLAIF 或 agentic RL
能够在复杂系统中定位问题：从日志、metric、profile、checkpoint、到分布式 rank 行为，都愿意追到根因
有强 ownership，能把一次性的实验脚本沉淀成可复用的工具、模板、文档和稳定接口
能和研究团队高效协作，既尊重研究速度，也重视系统正确性和长期可维护性
工作职责
支撑模型团队使用 Megatron 进行大规模分布式训练，处理 tensor parallel、pipeline parallel、data parallel、expert parallel、sequence/context parallel 等并行策略相关问题
支撑模型团队使用 SGLang 进行高吞吐推理和 rollout，优化 batching、KV cache、prefill/decode 调度、长上下文稳定性和在线训练链路
设计和实现面向更大模型规模的 post-training infra，降低训练资源成本，提高实验迭代效率和系统稳定性
建设 profiling、benchmark、monitoring 和 debugging 工具，提升训练吞吐、GPU utilization、rollout 稳定性和故障定位效率
与研究员和模型工程师紧密合作，把新的训练想法快速落地成可复现、可扩展、可长期维护的系统能力
优先资格
加分项：做过 LLM training infra、RLHF infra、online RL、agent training、tool-use training、MoE 训练、低精度训练/推理、PEFT 或高质量开源 infra 项目
AI 洞察
优缺点分析
优点
- 该岗位处于AI技术前沿，涉及大模型训练、RLHF等热门领域，技术成长空间巨大
- 薪资待遇优厚，福利完善，职业发展路径清晰
- 工作强度可能较大，需要应对复杂的系统问题和快速迭代的研究需求
- 对问题定位和解决能力要求高，需要具备强大的逻辑思维和调试能力
缺点 / 挑战
- 阿里巴巴作为行业巨头，提供广阔的平台和丰富的资源，能够接触到大规模、高难度的AI基础设施挑战
- 技术难度高，需要深入理解分布式系统、GPU集群和大模型训练，持续学习压力大
- 适合对AI基础设施有浓厚兴趣，具备扎实分布式系统和大模型训练经验，追求技术深度和挑战的工程师
角色解读
- 在AI基础设施领域深耕，成为大模型训练和推理系统的专家，负责更核心的AI基础设施架构
- 向技术管理方向发展，带领团队负责AI Infra平台的整体规划和建设
- 横向拓展至AI平台、MLOps、云原生AI等方向，成为跨领域的AI系统架构师
- 负责支撑模型团队使用Megatron等框架进行大规模分布式训练，处理各种并行策略问题，确保训练任务高效稳定运行
- 使用SGLang优化高吞吐推理和rollout，提升在线训练链路的效率和稳定性
- 设计和实现面向更大模型规模的post-training基础设施，降低资源成本，提升迭代效率
- 建设profiling、benchmark、monitoring和debugging工具，提升训练吞吐和故障定位效率
- 扎实的Python工程能力，熟悉C++、CUDA、Rust或Go等系统语言或高性能计算语言
- 深入理解PyTorch生态和大模型训练流程，包括forward/backward、optimizer、checkpoint等
- 具备分布式系统或大规模训练经验，熟悉GPU集群、NCCL、通信开销和显存优化
- 熟悉Megatron、DeepSpeed、FSDP、SGLang、vLLM等训练或推理系统，并了解RLHF等post-training范式
申请策略
- 关注阿里巴巴AI基础设施团队的技术博客和开源项目，了解其技术栈和方向
- 在面试中展示对AI基础设施的热情和深入思考，强调系统设计和问题解决能力
- 突出分布式训练或推理系统的实际项目经验，特别是使用Megatron、DeepSpeed、SGLang等框架的实践
- 强调在大规模GPU集群上优化训练吞吐、显存、通信效率的具体案例和成果
- 展示对RLHF、PPO、GRPO等post-training范式的理解和实践经验
- 体现强大的问题定位和系统调试能力，以及将脚本沉淀为可复用工具的经验
- 深入学习Megatron、SGLang等框架的源码，理解其并行策略和优化机制
- 补充CUDA编程和高性能计算知识，提升底层优化能力
面试指南
- 采用STAR法则（情境-任务-行动-结果）回答项目经验问题，突出个人贡献和量化成果
- 对于系统设计问题，从需求分析、架构设计、技术选型、性能优化和可维护性等维度展开
- 对于问题排查问题，强调逻辑性和系统性，展示从现象到根因的排查过程
- 请详细描述你使用Megatron或DeepSpeed进行大规模分布式训练的项目，遇到哪些并行策略挑战？如何解决？
- 如何优化大模型推理的吞吐和延迟？请结合SGLang或vLLM谈谈你的理解
- 解释一下RLHF的完整流程，以及训练基础设施在其中扮演的角色
- 如何定位分布式训练中的性能瓶颈？请描述你的排查思路和工具
- 如何设计一个可扩展、可维护的post-training基础设施？
职位点评
78
综合评分
阿里AI Infra岗位，技术前沿、薪资高，但工作强度可能较大，适合追求技术成长的工程师。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该职位最适合追求技术前沿、渴望在AI基础设施领域快速成长，且对工作地点和弹性要求不高的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活50
使命价值70
薪资福利
85较高
阿里巴巴作为上市巨头，提供有竞争力的薪资和福利，该岗位薪资水平较高，补偿性动机能得到较好满足。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
95较高
该岗位处于AI大模型训练基础设施前沿，技术挑战大，成长空间广阔，能极大满足发展性动机。
技术前沿前沿/新兴技术
技术栈Megatron、SGLang、分布式训练、RLHF、CUDA、PyTorch
业务类型profit_center
工作生活
50较低
该岗位为现场办公，工作地点在杭州，未提及弹性工作或远程办公，生活化动机满足程度一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
该岗位服务于阿里国际站，推动AI技术在国际贸易领域的应用，具有一定社会价值，但主要聚焦于技术实现。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs