中科曙光
【2027】大模型分布式优化工程师-郑州(J14466)
【2027】大模型分布式优化工程师-郑州(J14466)
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Deepspeed
Megatron
Pytorch
分布式系统
大模型训练
并行计算
高性能计算
值不值得投
76综合评分
综合评分 76
硬核大模型底层优化岗，技术前沿且成长空间巨大，适合追求技术深度的极客型人才。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
3万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 540 个在招 · 其中高性能计算 27 个
市场机会
选择不多
郑州 · 高性能计算 · 9 个在招
职位详情
关于这个职位
该职位主要负责大模型（如dense/moe/多模态等）的大规模分布式优化与训练框架开发，致力于提升超大规模集群的算力利用率与训练性能
你需要深入底层硬件与通信算子，解决分布式训练中的容错与性能瓶颈问题，跟踪前沿技术并持续改进产品
最低要求
掌握现代C++、Python编程，熟悉Linux系统及程序调试分析方法，熟悉CUDA编程模型，了解常见AI芯片架构及底层硬件原理，了解并行计算、异构计算、分布式系统等相关知识
掌握PyTorch高性能编程方法，熟悉Megatron、DeepSpeed、Transformer Engine、Verl、Slime、Vllm、SGlang等框架之一
熟悉至少一种人工智能领域场景
工作职责
负责dense/moe/多模态/强化学习等模型的大规模分布式优化，持续提高大规模分布式场景的算力利用率
负责大模型训练框架及相关定制通信算子的开发、调试、优化与维护
负责大规模训练容错库相关开发，优化在超大规模场景下的快速恢复
负责超大规模集群下的训练性能建模
跟踪分布式前沿优化技术和社区动态，持续改进产品性能
优先资格
熟悉MPI、NCCL，分布式通信优化策略者优先
具有多机多卡调试经验者优先
具有大模型训练容错经验者优先
具有NVSHMEM、Mooncake、DeepEP等之一定制通信库使用开发经验者优先
具有FP8/FP4训练经验者优先
具有训练框架、算子融合开发优化经验者优先
具有强化学习框架使用开发优化经验者优先
熟悉常用数学建模及验证方法者优先
AI 洞察
优缺点分析
优点
- 处于AI大模型基础设施的核心环节，技术壁垒高，个人技术成长空间巨大
- 接触万卡级超大规模集群与前沿分布式技术，积累稀缺的大模型底层优化经验
- 依托国家级算力平台，能参与行业级重大AI算力项目，履历含金量高
- 大模型分布式训练涉及软硬件协同，技术栈深且广，学习曲线陡峭，调试难度极大
- 适合对底层系统、高性能计算有浓厚兴趣，具备扎实C++/CUDA基础，且渴望在AI大模型基础设施领域深耕的硬核技术人才
缺点 / 挑战
- 超大规模集群的容错与性能优化面临诸多未知工程挑战，需要极强的抗压与问题排查能力
角色解读
- 向大模型系统架构师或AI基础设施技术专家发展，主导下一代万卡集群训练架构设计
- 深耕AI编译器或底层算子优化领域，成为高性能计算与异构计算领域的顶尖技术人才
- 负责大模型（如MoE、多模态等）的大规模分布式训练优化，提升超大规模集群的算力利用率
- 开发和维护大模型训练框架及定制通信算子，解决多机多卡环境下的通信与容错瓶颈
- 进行超大规模集群的训练性能建模，跟踪前沿分布式优化技术并落地应用
- 精通C++/Python及CUDA编程，深入理解AI芯片架构与底层硬件原理
- 熟练掌握PyTorch及Megatron、DeepSpeed等主流大模型训练框架的高性能编程
- 具备分布式系统、并行计算及异构计算知识，熟悉MPI/NCCL等通信库及优化策略
申请策略
- 提前了解公司在智算中心及大模型算力底座方面的业务布局，面试时可结合其硬件生态探讨软硬件协同优化方案
- 突出在C++/CUDA编程、算子开发或训练框架底层优化方面的实际项目经验与性能提升数据
- 详细列出使用Megatron、DeepSpeed等框架进行多机多卡训练、通信优化或容错处理的具体经历
- 展示对AI芯片架构、并行计算的理解，以及在解决复杂分布式系统瓶颈时的排查思路
- 深入学习NCCL/MPI等分布式通信库的底层原理，掌握多机多卡环境下的网络拓扑与通信优化策略
- 熟悉FP8/FP4等低精度训练技术，以及强化学习框架的分布式部署与优化
面试指南
- STAR法则：针对优化或排查问题，清晰描述背景（集群规模/模型大小）、任务（性能瓶颈/故障）、行动（具体使用的工具/算法/代码级优化）、结果（量化的性能提升指标）
- 底层原理+工程实践：回答技术问题时，先简述底层硬件或框架原理（如GPU内存层级、通信原语），再结合具体代码或项目说明如何应用
- 在大规模分布式训练中，如何解决多机多卡环境下的通信瓶颈？请结合NCCL或MPI谈谈你的优化经验
- 请描述一次你在Megatron或DeepSpeed框架中进行的性能优化经历，具体提升了多少算力利用率？
- 大模型训练在超大规模集群下容易遇到节点故障，你们是如何设计容错机制以实现快速恢复的？
- CUDA编程中，如何优化内存访问和线程块划分以最大化SM利用率？
- 复习CUDA编程模型、GPU硬件架构（如Tensor Core、Shared Memory）以及分布式通信原语（如Ring-AllReduce）
- 准备1-2个自己主导或深度参与的分布式训练性能优化/容错处理项目，梳理其中的技术难点和解决思路
职位点评
薪资福利75
成长发展90
工作生活50
使命价值85
薪资福利
75中等
大模型底层优化属于高门槛核心技术岗，薪资在郑州当地具有较强竞争力，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：2千–4万/月）
成长发展
90较高
岗位直击大模型算力底座核心技术，能接触超大规模集群与前沿分布式技术，技术成长与行业视野拓展空间极大。
技术前沿前沿/新兴技术
技术栈C++、Python、CUDA、PyTorch、Megatron、DeepSpeed、MPI、NCCL
成长机会跟踪分布式前沿优化技术
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与工时安排，但大模型底层优化与超大规模集群调试通常面临较高的工程压力与突发故障排查需求。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
参与大模型算力底座建设，支撑人工智能基础设施发展，具有显著的技术使命感与行业推动价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs