中科曙光
大模型分布式优化工程师(J14477)
大模型分布式优化工程师(J14477)
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Deepspeed
Megatron
Mpi
Nccl
Pytorch
分布式系统
大模型训练
值不值得投
78综合评分
综合评分 78
AI Infra核心底层研发岗，技术栈前沿且壁垒极高，成长空间巨大，但研发压力与调试挑战较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
5万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 630 个在招 · 其中高性能计算 39 个
市场机会
选择适中
北京 · 高性能计算 · 24 个在招
职位详情
关于这个职位
该职位主要负责大模型（如dense/moe/多模态等）的大规模分布式训练优化与底层通信算子开发，致力于提升超大规模集群的算力利用率与训练容错能力
你需要深入底层硬件与分布式系统，结合PyTorch及Megatron等主流框架，解决大模型训练中的性能瓶颈
最低要求
掌握现代C++、Python编程，熟悉Linux系统及程序调试分析方法，熟悉CUDA编程模型，了解常见AI芯片架构及底层硬件原理，了解并行计算、异构计算、分布式系统等相关知识
掌握PyTorch高性能编程方法，熟悉Megatron、DeepSpeed、Transformer Engine、Verl、Slime、Vllm、SGlang等框架之一
熟悉至少一种人工智能领域场景
工作职责
负责dense/moe/多模态/强化学习等模型的大规模分布式优化，持续提高大规模分布式场景的算力利用率
负责大模型训练框架及相关定制通信算子的开发、调试、优化与维护
负责大规模训练容错库相关开发，优化在超大规模场景下的快速恢复
负责超大规模集群下的训练性能建模
跟踪分布式前沿优化技术和社区动态，持续改进产品性能
优先资格
熟悉MPI、NCCL，分布式通信优化策略者优先
具有多机多卡调试经验者优先
具有大模型训练容错经验者优先
具有nvshmem、mooncake、deepep等之一定制通信库使用开发经验者优先
具有fp8/fp4训练经验者优先
具有训练框架、算子融合开发优化经验者优先
具有强化学习框架使用开发优化经验者优先
熟悉常用数学建模及验证方法者优先
AI 洞察
优缺点分析
优点
- 处于AI大模型与算力基础设施的核心交叉领域，技术壁垒高，行业需求旺盛，职业护城河深
- 依托公司在超算和智算领域的深厚积累，能接触到万卡级超大规模集群的真实业务场景
- 技术栈前沿，涉及CUDA底层优化、定制通信库及最新大模型训练框架，个人技术成长空间巨大
- 适合具备扎实C++/CUDA底层功底，对高性能计算和AI Infra有浓厚兴趣，且渴望在超大规模算力场景中解决复杂工程问题的技术极客
缺点 / 挑战
- 大模型分布式训练涉及软硬件协同，调试难度极大，多机多卡环境下的问题排查极具挑战性
- 技术迭代极快，需要持续跟踪学术界和工业界的最新分布式优化方案，学习压力较大
角色解读
- 纵向可成长为大模型底层系统架构师或高性能计算技术专家，主导国家级或行业级超算/智算中心的核心技术攻关
- 横向可向AI Infra负责人或大模型训练平台技术总监发展，统筹算力调度与训练效率优化
- 负责大模型（如MoE、多模态等）的大规模分布式训练优化，提升超大规模集群的算力利用率
- 开发和维护大模型训练框架及定制通信算子，解决多机多卡训练中的通信与计算瓶颈
- 构建大规模训练容错机制，进行超大规模集群下的训练性能建模与前沿技术跟踪
- 精通C++和Python，熟悉Linux环境及CUDA编程，深入理解AI芯片架构与底层硬件原理
- 熟练掌握PyTorch高性能编程，并深入了解Megatron、DeepSpeed等主流大模型训练框架
- 具备并行计算、异构计算及分布式系统知识，熟悉MPI/NCCL等分布式通信机制
申请策略
- 建议提前了解公司在智算中心及大模型算力底座方面的最新业务布局，面试时结合其业务场景阐述技术见解
- 重点突出在C++/CUDA底层优化、算子开发或分布式通信（MPI/NCCL）方面的实际项目经验与性能提升数据
- 详细列举参与过的大模型训练项目，特别是使用Megatron/DeepSpeed等框架进行多机多卡训练和容错优化的经历
- 展示对AI芯片架构的理解，以及在fp8/fp4低精度训练或算子融合方面的探索与成果
- 深入研读Megatron-LM、DeepSpeed等框架的源码，理解其并行策略（如3D并行）与通信优化机制
- 补充分布式系统理论，动手实践多机多卡环境下的通信瓶颈分析与调优
面试指南
- 针对性能优化问题，采用'背景-瓶颈分析-优化方案-量化收益'的STAR框架，突出数据指标（如MFU提升比例）
- 针对分布式通信问题，从计算与通信重叠、拓扑感知通信、自定义算子等维度展开，展现系统性思维
- 在大规模分布式训练中，如何定位和解决多机多卡环境下的通信瓶颈？
- 请详细描述你在Megatron或DeepSpeed框架中做过的性能优化，具体提升了多少算力利用率？
- 在超大规模集群训练中，节点故障是常态，你们是如何设计容错机制以实现快速恢复的？
- CUDA编程中，如何优化内存访问和线程块配置以最大化计算效率？
- 复习CUDA编程模型、GPU内存层级结构以及NCCL的通信原语，准备底层优化的具体案例
- 梳理大模型训练中的并行策略（数据并行、张量并行、流水线并行），并准备相关的源码级理解
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
大模型底层优化属于当前AI领域薪资天花板级别的岗位，技术壁垒极高，薪资回报丰厚，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
90较高
岗位处于AI Infra与大模型训练的最前沿，能接触到万卡级集群和最新分布式技术，技术成长与行业视野拓展空间极大。
技术前沿前沿/新兴技术
技术栈C++、Python、CUDA、PyTorch、Megatron、DeepSpeed、MPI、NCCL、fp8/fp4
成长机会跟踪分布式前沿优化技术和社区动态
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与加班情况，但大模型底层研发通常面临较大的交付压力与集群调试压力，WLB可能受限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
致力于提升大规模分布式场景的算力利用率，推动AI大模型基础设施的发展，具有较高的行业使命感与技术价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
中科曙光 的其他在招职位
相似职位推荐
Watch Jobs