中科曙光
【2027】大模型分布式优化工程师-成都(J14467)
【2027】大模型分布式优化工程师-成都(J14467)
发布于 6 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Deepspeed
Megatron
Mpi
Nccl
Pytorch
分布式系统
高性能计算
值不值得投
75综合评分
综合评分 75
核心AI基础设施岗，技术壁垒极高、前沿性强，适合追求技术深度的极客，WLB及薪资细节未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.8万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 630 个在招 · 其中高性能计算 39 个
市场机会
选择不多
成都 · 高性能计算 · 9 个在招
职位详情
关于这个职位
该职位主要负责大模型（如dense/moe/多模态等）的大规模分布式训练优化，涉及训练框架、定制通信算子及容错库的开发与维护
你需要利用C++/Python及CUDA等技术，提升超大规模集群的算力利用率和训练性能
最低要求
掌握现代C++、Python编程，熟悉Linux系统及程序调试分析方法，熟悉CUDA编程模型，了解常见AI芯片架构及底层硬件原理，了解并行计算、异构计算、分布式系统等相关知识
掌握PyTorch高性能编程方法，熟悉Megatron、DeepSpeed、Transformer Engine、Verl、Slime、Vllm、SGlang等框架之一
熟悉至少一种人工智能领域场景
工作职责
负责dense/moe/多模态/强化学习等模型的大规模分布式优化，持续提高大规模分布式场景的算力利用率
负责大模型训练框架及相关定制通信算子的开发、调试、优化与维护
负责大规模训练容错库相关开发，优化在超大规模场景下的快速恢复
负责超大规模集群下的训练性能建模
跟踪分布式前沿优化技术和社区动态，持续改进产品性能
优先资格
熟悉MPI、NCCL，分布式通信优化策略者优先
具有多机多卡调试经验者优先
具有大模型训练容错经验者优先
具有nvshmem、mooncake、deepep等之一定制通信库使用开发经验者优先
具有fp8/fp4训练经验者优先
具有训练框架、算子融合开发优化经验者优先
具有强化学习框架使用开发优化经验者优先
熟悉常用数学建模及验证方法者优先
AI 洞察
优缺点分析
优点
- 处于AI大模型基础设施的核心领域，技术壁垒高，行业前景广阔
- 能够接触到超大规模集群和前沿的分布式优化技术，积累稀缺的底层系统经验
- 技术难度极大，需要深入理解硬件底层、通信协议及复杂分布式系统，学习曲线陡峭
缺点 / 挑战
- 超大规模集群的调试和容错优化面临诸多未知挑战，排错成本高
- 具备扎实C++/CUDA基础，对底层系统和高性能计算有浓厚兴趣，且能接受高难度技术挑战的资深研发工程师
角色解读
- 纵向可成长为大模型底层系统架构专家或高性能计算技术专家
- 横向可向AI基础设施负责人或大模型训练平台技术总监方向发展
- 负责大模型（如MoE、多模态等）在超大规模集群上的分布式训练优化，提升算力利用率
- 开发和维护大模型训练框架、定制通信算子以及训练容错库，进行性能建模
- 精通C++/Python及CUDA编程，深入理解AI芯片架构与底层硬件原理
- 熟悉PyTorch及Megatron/DeepSpeed等主流大模型训练框架，掌握分布式系统与并行计算知识
申请策略
- 提前了解中科曙光在AI算力基础设施方面的产品布局，在面试中展现对公司业务的理解
- 突出在CUDA编程、算子优化及多机多卡分布式训练方面的实际项目经验
- 详细列出使用Megatron/DeepSpeed等框架进行大模型训练优化的具体成果（如算力利用率提升百分比）
- 深入学习NCCL/MPI等分布式通信库的底层原理及优化策略
- 了解fp8/fp4低精度训练及最新的大模型训练容错机制
面试指南
- 采用STAR法则，重点突出“瓶颈分析-方案设计-底层实现-性能收益”的完整闭环
- 对于底层技术问题，从硬件架构（如GPU内存层级、通信带宽）出发，结合算法逻辑进行剖析
- 请描述一次你优化大模型分布式训练性能的经历，具体遇到了什么瓶颈，如何解决的？
- 在CUDA编程中，如何优化内存访问和线程块配置以提升算子性能？
- 针对超大规模集群训练，如何设计容错机制以保证训练的快速恢复？
- 请对比Megatron和DeepSpeed在分布式训练策略上的核心差异
- 复习CUDA编程模型、GPU硬件架构及并行计算基础理论
- 准备1-2个自己主导的分布式训练优化或算子开发的深度技术案例
职位点评
薪资福利75
成长发展90
工作生活50
使命价值80
薪资福利
75中等
大模型底层优化属于高壁垒核心技术岗，薪资水平通常较高，但JD未明确披露具体薪资和福利细节。
薪资信号未披露（AI估算：2.5千–5万/月）
成长发展
90较高
岗位涉及大模型训练框架、底层算子及超大规模集群优化，技术极具前沿性，能积累极高价值的底层系统经验。
技术前沿前沿/新兴技术
技术栈C++、Python、CUDA、PyTorch、Megatron、DeepSpeed、MPI、NCCL
成长机会跟踪分布式前沿优化技术和社区动态
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与加班情况，但底层系统研发和超大规模集群调试通常面临较高的交付压力和突发排错需求。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
致力于大模型底层算力优化，推动AI基础设施发展，对人工智能行业的技术演进具有积极的支撑作用。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
中科曙光 的其他在招职位
相似职位推荐
Watch Jobs