稀宇科技
大模型训练框架工程师-2027届
大模型训练框架工程师-2027届
发布于 大约 13 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Checkpoint
Deepspeed
Gpu性能优化
Megatron-Lm
Pytorch
分布式系统
大模型训练
并行计算
通信优化
值不值得投
78综合评分
综合评分 78
AI基础设施核心岗，技术成长性极强，前沿但高强度，适合技术钻研型应届生。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
24K
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
94 个在招 · 其中机器学习工程 3 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 410 个在招
职位详情
关于这个职位
该职位负责大模型训练框架的开发与优化，以支撑千卡/万卡级别的分布式训练任务
你将深度参与训练系统的并行策略优化、通信效率提升、显存管理、容错恢复及数值正确性保障，直接影响大模型迭代速度和性能上限
这是一个高难度、高技术含量的系统工程岗位，要求扎实的分布式系统和GPU性能优化能力
最低要求
基本要求：
编程能力扎实，具备清晰的系统设计思路和良好的工程品味
对大模型训练系统、分布式系统、并行计算、GPU 性能优化或大规模数值正确性保障中的某一方向有深入理解
能够独立定位系统问题，提出可落地的优化方案并推动实施
关注算法与系统前沿，能够将论文或开源框架中的思路转化为工程判断
工作职责
你会参与：
建设和优化大规模训练框架，支撑千卡/万卡级别训练任务
优化数据并行、张量并行、流水线并行、专家并行等并行策略
解决大规模训练中的通信、显存、Checkpoint、容错恢复、数值正确性校验和稳定性问题
分析模型结构、训练策略与系统效率之间的关系，提升训练吞吐、资源利用率和迭代效率
跟进 PyTorch、Megatron-LM、DeepSpeed、TorchTitan 等训练框架及相关前沿工作，并结合实际训练场景落地
优先资格
加分项：
熟悉 PyTorch、Megatron-LM、DeepSpeed、Colossal-AI、TorchTitan 等训练框架，并有深入使用或贡献经验
有千卡/万卡规模训练系统经验
熟悉 NCCL、RDMA、CUDA、Triton、通信优化、显存优化、Checkpoint 优化、大规模训练数值稳定性与正确性保障等技术
有 MoE 训练、长序列训练、混合并行策略优化或训练稳定性治理经验
AI 洞察
优缺点分析
优点
- 直击AI大模型训练的核心系统层，技术深度和前沿性极强，能积累顶尖的系统优化经验
- 与顶级算法团队紧密协作，能深刻理解算法与系统的协同关系，拓宽技术视野
- 解决的是行业公认的技术难题（如万卡集群稳定性），成果影响力大，个人成长速度快
- 作为创业公司核心技术岗位，能接触快速迭代的真实业务场景，发挥空间大
- 技术难度极高，需处理大规模分布式系统下的各种复杂异常和边缘情况，对问题定位和解决能力要求严苛
- 工作节奏可能较快，需要持续跟进技术前沿并快速落地，以满足模型迭代需求
- 涉及硬件、网络、通信、算法等多个领域交叉，知识体系要求广而深
- 对分布式系统和AI基础设施充满热情，喜欢解决底层复杂技术难题，具备扎实工程能力和钻研精神的应届计算机或相关专业毕业生
缺点 / 挑战
暂无明显挑战项
角色解读
- 在深度参与前沿大模型训练系统建设的过程中，成为分布式系统和AI基础设施领域的专家
- 可向系统架构师、技术负责人或算法系统协同专家方向发展，主导更复杂的技术方案设计
- 随着经验和影响力的积累，有机会参与公司核心技术战略的制定，或转向技术管理岗位
- 负责大规模分布式训练框架的设计、开发与优化，以支持千卡乃至万卡级别的GPU集群训练任务
- 针对训练过程中的通信瓶颈、显存限制、容错恢复和数值稳定性等挑战，提出并实施系统级解决方案
- 深度分析模型训练策略与系统资源之间的耦合关系，持续提升训练效率、吞吐量和资源利用率
- 跟踪并融合最新的开源训练框架和学术进展，推动技术成果在实际生产环境中的落地
- 扎实的编程能力和系统设计思维，具备优秀的工程实现与调试能力
- 在分布式系统、并行计算（数据/张量/流水线/专家并行）、GPU性能优化或大规模数值计算领域有深入理解和实践
- 熟悉主流大模型训练框架（如PyTorch, DeepSpeed, Megatron-LM）及其底层原理
- 具备独立分析复杂系统问题、定位性能瓶颈并推动优化方案落地的能力
申请策略
- 仔细研究MiniMax的技术博客或公开分享，了解其技术栈和关注点，在面试中展示你的了解和思考
- 准备一些关于如何权衡训练效率、稳定性和资源成本的具体思考或案例
- 突出与分布式系统、并行计算或GPU编程相关的课程项目、毕业设计或研究经历，详细说明遇到的挑战和你的解决方案
- 如有开源项目贡献（特别是对PyTorch, DeepSpeed, Megatron-LM等框架的PR）或相关技术博客，务必展示
- 强调独立分析和解决复杂技术问题的实例，用具体数据和结果体现你的工程能力和影响力
- 展示对大模型训练系统原理的理解，可以简要描述你对某个训练优化技术（如3D并行）的思考
- 深入学习分布式训练的核心原理，如集合通信（NCCL）、RDMA、显存优化（如ZeRO）、Checkpoint策略等
- 动手实践大规模训练任务，可在开源框架上尝试进行性能分析和小规模优化实验
面试指南
- 对于原理类问题：先清晰定义概念，然后对比异同，最后结合实际场景（如模型大小、集群规模）说明如何选择
- 对于设计类问题：采用分层思路，从检测、隔离、恢复、验证等多个环节展开，并考虑对训练任务的影响
- 对于实践类问题：使用STAR法则（情境、任务、行动、结果）组织回答，重点突出你的分析过程和最终效果
- 请解释一下数据并行、张量并行和流水线并行的原理、优缺点以及适用场景
- 在大规模训练中，当出现GPU节点故障或网络抖动时，你会如何设计容错和恢复机制？
- 如何分析和优化一个训练任务的通信开销（如AllReduce操作）？
- PyTorch的分布式训练库（如torch.distributed）和DeepSpeed的主要区别是什么？你更倾向于用哪个，为什么？
- 请描述一个你独立解决过的最复杂的系统性能问题或bug
职位点评
薪资福利75
成长发展95
工作生活50
使命价值85
薪资福利
75中等
该职位为应届生核心工程师岗位，薪资在目标城市具有竞争力，但作为B轮公司，长期稳定性和福利体系的完善度可能不及成熟大厂。
薪资信号市场水准 (18K-30K/月)
成长发展
95较高
该职位提供极高技术含量和前沿性的挑战，直接参与大模型训练系统核心建设，技能成长上限高，是技术专家路径的绝佳起点。
技术前沿前沿/新兴技术
技术栈PyTorch、Megatron-LM、DeepSpeed、NCCL、RDMA、CUDA、分布式训练、并行计算、GPU性能优化、Checkpoint优化
业务类型profit_center
工作生活
50较低
工作地点在一线科技园区，JD未明确说明办公模式和工作强度，考虑到岗位性质和行业节奏，WLB可能存在不确定性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
大模型训练是当前AI发展的核心瓶颈和制高点，参与该工作能直接推动AI能力前沿，具有很高的技术使命感和社会价值潜力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号支撑更大规模、更高效率、更稳定的训练任务、直接影响模型迭代速度和能力上限
创新程度开拓性创新（行业首创）
Watch Jobs