中科曙光
【2027】大模型分布式优化工程师(J14436)
【2027】大模型分布式优化工程师(J14436)
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Deepspeed
Megatron
Pytorch
分布式系统
大模型训练
性能优化
容错库
值不值得投
73综合评分
综合评分 73
技术前沿的大模型分布式优化岗位，侧重技能积累，薪资中等，WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
2.3万
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 470 个在招 · 其中机器学习工程 6 个
市场机会
选择适中
成都 · 机器学习工程 · 28 个在招
职位详情
关于这个职位
该职位负责大模型（如dense/MoE/多模态）的大规模分布式训练优化、训练框架及通信算子开发、容错库建设和性能建模
工作聚焦于提升AI算力利用率，跟踪前沿分布式技术，是中科曙光AI基础设施团队的核心技术岗
最低要求
掌握现代C++，Python编程，熟悉Linux系统及程序调试分析方法，熟悉CUDA编程模型，了解常见AI芯片架构及底层硬件原理，了解并行计算、异构计算、分布式系统等相关知识
掌握PyTorch高性能编程方法，熟悉Megatron、DeepSpeed、Transformer Engine、Verl、Slime、Vllm、SGlang等框架之一
熟悉至少一种人工智能领域场景
工作职责
岗位职责（满足以下任意一方向）：
负责dense/moe/多模态/强化学习等模型的大规模分布式优化，持续提高大规模分布式场景的算力利用率
负责大模型训练框架及相关定制通信算子的开发、调试、优化与维护
负责大规模训练容错库相关开发，优化在超大规模场景下的快速恢复
负责超大规模集群下的训练性能建模
跟踪分布式前沿优化技术和社区动态，持续改进产品性能
优先资格
加分项：
a. 熟悉MPI，NCCL，分布式通信优化策略者优先
b. 具有多机多卡调试经验者优先
c. 具有大模型训练容错经验者优先
d. 具有nvshmem、mooncake、deepep等之一定制通信库使用开发经验者优先
e. 具有fp8/fp4训练经验者优先
f. 具有训练框架、算子融合开发优化经验者优先
g. 具有强化学习框架使用开发优化经验者优先
h. 熟悉常用数学建模及验证方法者优先
AI 洞察
优缺点分析
优点
- 技术栈前沿，直接参与大模型训练优化，积累分布式系统和AI基础设施核心经验
- 岗位涉及多个技术方向（框架、容错、性能建模），技能积累全面
- 中科曙光在高性能计算领域有深厚积累，提供行业级项目实践平台
- 技术难度高，需要持续学习分布式优化、AI芯片等前沿知识
- 工作可能涉及复杂系统调试和性能攻坚，对问题解决能力要求高
缺点 / 挑战
- 多地点办公可能带来团队协作和沟通挑战
- 适合对AI基础设施、高性能计算有浓厚兴趣，追求技术深度，能接受较高学习曲线的技术人才
角色解读
- 可深耕技术成为分布式系统或AI训练框架领域的资深专家
- 可转向AI基础设施架构师或技术经理，负责更大规模集群设计
- 随着大模型技术发展，有机会参与行业标准制定或前沿研究
- 负责大规模AI模型（如MoE、多模态）的分布式训练优化，提升算力利用率
- 开发和维护大模型训练框架及定制通信算子，处理多机多卡场景
- 建设训练容错库，优化超大规模集群下的快速恢复能力
- 进行训练性能建模并跟踪前沿分布式技术动态
- 精通C++、Python编程，熟悉Linux和CUDA，了解AI芯片架构与并行计算原理
- 掌握PyTorch高性能编程，熟悉至少一种主流大模型框架（如DeepSpeed、Megatron）
- 具备分布式系统知识和多机多卡调试经验
申请策略
- 研究中科曙光在高性能计算和AI大模型领域的最新产品与技术布局，在面试中体现业务理解
- 准备与分布式训练优化相关的技术问题解决方案，展示实战思维
- 突出C++、Python、CUDA编程项目经验，尤其是涉及高性能计算或系统优化的部分
- 详细描述使用PyTorch、DeepSpeed等框架进行大模型训练或分布式部署的项目案例
- 强调多机多卡环境下的调试、优化经验，如有容错库开发经历则更佳
- 展示对并行计算、分布式系统原理的理解和应用成果
- 深入学习CUDA编程和AI芯片架构，补充底层优化知识
- 通过开源项目或实践熟悉Megatron、DeepSpeed等框架的源码和内部机制
面试指南
- 使用STAR法则（情境、任务、行动、结果）结构化描述项目经验，突出技术决策和量化成果
- 针对架构设计问题，从需求分析、技术选型、实现细节、测试验证等角度阐述思路
- 对框架比较类问题，从性能、易用性、社区支持、适用场景等维度客观分析
- 请描述你优化过的一个大规模分布式训练任务，如何提升算力利用率？
- 如何设计一个训练容错库来应对节点故障？请说明关键考虑因素
- 比较Megatron和DeepSpeed在分布式训练中的优缺点？
- 如果集群中出现通信瓶颈，你会如何排查和优化？
- 你对fp8/fp4训练有什么了解？有哪些潜在挑战？
职位点评
薪资福利70
成长发展85
工作生活60
使命价值75
薪资福利
70中等
薪资水平基于技能要求和城市市场估算，处于中等偏上，但JD未披露具体数字和福利，补偿性满足度一般。
薪资信号未披露（AI估算：1.5千–3万/月）
成长发展
85较高
岗位涉及大模型训练优化、分布式系统等前沿技术，能提供显著的技能成长机会，但未明确提及培训或晋升路径。
技术前沿前沿/新兴技术
技术栈C++、Python、CUDA、PyTorch、分布式系统、Megatron、DeepSpeed
业务类型ambiguous
工作生活
60中等
JD未明确工作模式或WLB信号，可能需现场办公，生活化动机满足程度有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
大模型和高性能计算处于AI高速增长赛道，技术驱动性强，但JD未突出社会价值或使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
中科曙光 的其他在招职位
相似职位推荐
Watch Jobs