阿里巴巴
超大规模大模型训练Infra构建和研发-阿里星
超大规模大模型训练Infra构建和研发-阿里星
发布于 大约 22 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Gpu集群
Jax
Nccl
Pytorch
分布式训练
大语言模型(Llm)
性能优化
算子开发
值不值得投
78综合评分
综合评分 78
前沿高精尖的AI Infra核心技术岗，技术成长与行业影响力极强，WLB未知。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
45K
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2690 个在招 · 其中算法优化工程师 约 100 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 210 个在招
职位详情
关于这个职位
此岗位是阿里巴巴“阿里星”计划的核心技术岗，专注于构建和研发支撑百亿至万亿参数超大规模模型训练的底层基础设施
你将深入参与分布式训练架构设计、性能极致优化（如CUDA/Triton算子开发）、主流训练框架内核改进，并直接支撑GPT、AIGC等前沿AI应用落地，是算力基座的核心开发者
最低要求
工程与算法基础：计算机相关专业背景，有极佳的工程实现能力，精通 C/C++ 与 Python
具备扎实的数据结构与算法功底，熟练掌握 GDB / Nsight 等调试与性能分析工具
大规模分布式经验：有大规模分布式系统开发和优化经验
对现代 GPU 集群通信机制及 NCCL 等通信库原理有深刻理解，有大模型分布式训练工程经验者优先
算法工程协同设计：对 LLM、多模态等大模型结构及其核心算法流程有深入理解者优先
异构计算与底层技术：熟悉异构计算体系结构，包括但不限于现代 GPU 并行架构、CUDA 编程、Triton 和 Cutlass 等硬件 DSL 以及高性能网络技术
主流框架内核：精通 PyTorch / JAX / Megatron-LM 等业界主流大模型引擎的内核实现机制
精通 XLA / MLIR 等编译优化技术者优先
工作职责
超大规模训练架构：负责百亿至万亿参数模型的分布式训练架构设计与演进
针对数千卡 GPU 互联场景，通过自顶向下的性能分析，利用 5D 并行以及通信优化策略，消除大规模分布式训练瓶颈，提升训练效率和线性加速比
极致性能优化与算子开发：深入软硬协同层，通过手写 CUDA / Triton 算子、算子融合及 XLA / MLIR 等编译优化技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎，追求业界SOTA的 MFU
训练框架演进：结合前沿的大语言模型（LLM）与多模态模型结构，协同算法团队进行框架级优化（如 Checkpointing、显存优化、Overlap 通信掩盖），优化单位算力的模型效果
AI 创新应用落地支撑：作为算力基座的核心支撑，支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地，解决实际业务中的大规模与稳定性挑战，确保模型从训练到应用的顺畅衔接
优先资格
对钻研技术有热情，勤于动手，善于动脑，不惧困难
AI 洞察
优缺点分析
优点
- 作为“阿里星”计划入选者，将获得公司层面的重点培养、顶级导师资源及清晰的职业发展通道
- 工作内容直接支撑GPT、AIGC等最前沿的AI应用，技术成果的业务影响力大
- 技术门槛极高，需要同时具备扎实的底层系统功底和对上层AI算法的理解，学习曲线陡峭
- 为追求训练效率和稳定性，工作可能涉及高强度调试与优化，对问题解决能力和耐心是巨大考验
- 身处快速迭代的AI前沿领域，需要持续追踪和学习GPU架构、编译器、新型模型结构等快速发展的技术
- 适合计算机专业基础极其扎实，对底层系统和性能优化有狂热兴趣，乐于攻克复杂技术难题，并立志于在AI基础设施领域深耕的顶尖应届或准应届毕业生
缺点 / 挑战
- 深度参与前沿大模型训练的核心基础设施构建，技术挑战高，能快速提升在分布式系统和异构计算领域的顶尖工程能力
角色解读
- 技术专家路线：深耕AI基础设施特定领域（如通信优化、算子库），成为该领域的顶尖技术专家或架构师
- 技术管理路线：凭借深厚的技术积累和项目领导力，转向AI Infra团队的技术管理岗位
- 跨领域发展：凭借对模型训练全流程的理解，可转向AI算法工程、MLOps或AI平台产品经理等方向
- 设计并优化支持万亿参数模型训练的分布式架构，解决数千张GPU并行计算中的通信与效率瓶颈
- 开发和优化CUDA/Triton高性能算子，通过编译技术和软硬件协同挖掘GPU算力极限
- 改进PyTorch等主流训练框架的内核，针对大模型特点进行显存、通信等专项优化
- 作为底层算力支撑，确保GPT、多模态等前沿AI模型能高效稳定地完成训练与应用部署
- 精通C/C++和Python，具备优秀的系统编程和工程实现能力
- 深刻理解分布式系统，特别是GPU集群通信（NCCL）与大规模并行计算原理
- 熟练掌握CUDA编程，了解Triton/Cutlass等硬件抽象层和编译优化技术（XLA/MLIR）
- 对主流大模型训练框架（如PyTorch, Megatron-LM）的内部实现机制有深入研究
申请策略
- 在简历和面试中，清晰表达你对“为什么需要优化训练效率”以及“大规模训练的核心瓶颈是什么”的理解
- 可以准备一个关于你如何通过技术手段解决某个具体性能瓶颈的深度案例，展示你的问题解决思路和技术深度
- 突出与大规模分布式系统、GPU编程（CUDA）、性能调优相关的项目或研究经历，即使规模较小也应详细描述技术细节和成果
- 展示对PyTorch/TensorFlow等框架源码的阅读、修改或贡献经历，证明底层理解能力
- 列出在高性能计算、并行计算、编译原理等领域的课程成绩或竞赛奖项（如ACM-ICPC、IOI等）
- 系统性地阅读GPU体系结构（如NVIDIA白皮书）、分布式训练经典论文（如Megatron-LM），并尝试在小规模集群上复现实验
- 动手实践：编写CUDA kernel解决一个实际问题，并使用Nsight Compute等工具进行性能分析和优化
- 深入研读PyTorch或JAX的DataParallel/DistributedDataParallel相关源码，理解其实现机制
面试指南
- 对于项目/经历问题，采用STAR原则，重点阐述技术方案的选择依据、分析过程和量化结果
- 对于概念/设计问题，先阐述基本原理，再结合实际场景（如千亿参数模型）讨论不同方案的优劣和权衡
- 对于场景/方案问题，从问题定义（瓶颈定位）、分析方法（Profiling工具）、优化层次（算法/框架/硬件）进行结构化回答
- 请介绍一个你做过的分布式系统或性能优化项目，遇到了什么核心挑战？如何分析和解决的？
- 解释一下什么是5D并行？在设计大规模训练架构时，你会考虑哪些关键因素来平衡计算、通信和显存？
- 如何优化一个在多卡环境下速度不理想的PyTorch训练脚本？请从数据加载、模型并行、通信等角度阐述思路
- 你了解CUDA的Grid、Block、Thread层级吗？如何设计一个高效的矩阵乘法CUDA Kernel？
- 如果让你为一个新的多模态大模型设计训练框架，你会在哪些方面考虑进行框架级优化？
职位点评
薪资福利80
成长发展90
工作生活50
使命价值85
薪资福利
80较高
作为‘阿里星’计划核心技术岗，在行业前沿领域具有竞争力，但具体薪资福利未在JD中披露。
薪资信号面议 (35K-55K/月)
成长发展
90较高
岗位涉及大模型训练最底层的架构、算子和框架优化，技术深度和前沿性极强，能获得顶尖的技术磨练和清晰的专家成长路径。
技术前沿前沿/新兴技术
技术栈CUDA、Triton、分布式训练、NCCL、PyTorch、JAX、XLA、MLIR
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，该岗位涉及攻坚和优化，工作强度和压力可能较高，生活化动机满足度不确定。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
作为支撑GPT、AIGC等改变世界的AI应用的基础设施核心，工作具有很高的行业影响力和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号支持行业顶尖的 GPT、AIGC、多模态模型在 AI 创新应用场景的业务落地
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs