稀宇科技
大模型训练框架工程师-日常实习
大模型训练框架工程师-日常实习
发布于 大约 7 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Deepspeed
Gpu性能优化
Megatron-Lm
Pytorch
分布式系统
大模型训练
并行计算
显存优化
通信优化
值不值得投
69综合评分
综合评分 69
前沿大模型训练框架实习，技术挑战高、成长性强，但WLB信息不明。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
8K
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
97 个在招 · 其中机器学习工程 3 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 420 个在招
职位详情
关于这个职位
这个职位是稀宇科技的大模型训练框架工程师日常实习，主要负责建设和优化大规模训练系统，以支撑千卡/万卡级别的训练任务
你需要参与并行策略优化、通信开销解决、显存管理等，并与算法团队协作提升训练效率
适合对分布式系统和GPU性能优化有深入理解，并对大模型训练系统感兴趣的求职者
最低要求
基本要求：
编程能力扎实，具备清晰的系统设计思路和良好的工程品味
对大模型训练系统、分布式系统、并行计算、GPU 性能优化或大规模数值正确性保障中的某一方向有深入理解
能够独立定位系统问题，提出可落地的优化方案并推动实施
关注算法与系统前沿，能够将论文或开源框架中的思路转化为工程判断
工作职责
你会参与：
建设和优化大规模训练框架，支撑千卡/万卡级别训练任务
优化数据并行、张量并行、流水线并行、专家并行等并行策略
解决大规模训练中的通信、显存、Checkpoint、容错恢复、数值正确性校验和稳定性问题
分析模型结构、训练策略与系统效率之间的关系，提升训练吞吐、资源利用率和迭代效率
跟进 PyTorch、Megatron-LM、DeepSpeed、TorchTitan 等训练框架及相关前沿工作，并结合实际训练场景落地
优先资格
加分项：
熟悉 PyTorch、Megatron-LM、DeepSpeed、Colossal-AI、TorchTitan 等训练框架，并有深入使用或贡献经验
有千卡/万卡规模训练系统经验
熟悉 NCCL、RDMA、CUDA、Triton、通信优化、显存优化、Checkpoint 优化、大规模训练数值稳定性与正确性保障等技术
有 MoE 训练、长序列训练、混合并行策略优化或训练稳定性治理经验
AI 洞察
优缺点分析
优点
- 接触大模型训练的前沿技术，参与大规模系统开发，技能成长潜力大
- 与算法团队深度协作，能从系统视角理解AI模型，拓宽技术视野
- 公司处于B轮融资阶段，中型企业可能提供快速成长和实际项目参与机会
- 技术难度高，需要持续学习分布式系统和GPU优化等复杂知识
缺点 / 挑战
- 工作强度可能较大，需应对大规模训练中的稳定性和效率挑战
- 作为实习岗位，可能面临转正竞争和项目经验积累的压力
- 适合对分布式系统和GPU性能优化有浓厚兴趣，愿意深入大模型训练底层技术，并能承受高难度工程挑战的计算机相关专业学生或求职者
角色解读
- 从实习工程师逐步成长为全职软件工程师或机器学习系统工程师，专注于AI训练系统开发
- 可向技术专家或架构师方向发展，负责更大规模分布式系统的设计和优化
- 也可转向算法工程或AI研究岗位，结合系统经验推动模型创新
- 负责大规模训练框架的建设与优化，以支撑千卡/万卡级别的训练任务，提升系统效率和稳定性
- 优化并行策略，包括数据并行、张量并行等，解决通信、显存和Checkpoint等实际问题
- 与算法团队协作，分析模型与系统关系，推动训练吞吐和资源利用率的提升
- 跟进PyTorch等前沿训练框架，并结合实际场景进行落地应用
- 扎实的编程能力和系统设计思路，具备良好的工程品味
- 对分布式系统、并行计算或GPU性能优化有深入理解
- 能够独立定位系统问题并提出可落地的优化方案
- 熟悉PyTorch、Megatron-LM等训练框架，了解通信优化和显存管理技术
申请策略
- 在申请前研究稀宇科技（MiniMax）的大模型训练方向和成果，展示对公司的了解
- 准备面试时重点复习分布式系统、并行策略和GPU性能优化的核心概念
- 突出分布式系统、并行计算或GPU优化相关的项目经历，展示系统设计能力
- 列出熟悉的技术栈，如PyTorch、DeepSpeed、NCCL等，并说明使用经验
- 强调独立解决问题和推动优化实施的案例，体现工程品味和主动性
- 深入学习PyTorch、Megatron-LM等训练框架的源码和原理，提升实践能力
- 加强GPU编程和通信优化知识，如CUDA、RDMA技术，以应对大规模训练挑战
- 关注大模型训练的前沿论文和开源项目，将理论转化为工程判断
面试指南
- 对于技术问题，使用STAR法则（情境、任务、行动、结果）结构化回答，强调系统思考和优化效果
- 对于框架经验，具体描述使用场景、遇到的挑战和改进点，展示深入理解
- 对于动机问题，结合个人兴趣和公司方向，说明如何贡献于大规模训练系统建设
- 请描述一个你优化过的分布式训练系统案例，遇到的主要问题和解决方案是什么？
- 如何理解和优化大规模训练中的通信开销，比如使用NCCL或RDMA？
- 你对PyTorch或DeepSpeed框架有哪些深入使用或贡献经验？
- 在训练稳定性治理方面，你如何处理数值正确性校验和容错恢复？
- 为什么对大模型训练框架工程师这个职位感兴趣？
职位点评
薪资福利60
成长发展85
工作生活50
使命价值70
薪资福利
60中等
实习岗位薪资通常为市场津贴水平，但具体信息未披露，满足程度有限。
薪资信号未披露（AI估算：5K-10K/月）
成长发展
85较高
职位提供接触前沿AI技术和大规模系统开发的机会，对技能成长和职业发展有较强助力。
技术前沿前沿/新兴技术
技术栈PyTorch、Megatron-LM、DeepSpeed、TorchTitan、分布式系统、GPU性能优化
业务类型ambiguous
工作生活
50较低
职位未提及办公模式和WLB信息，可能需现场办公，生活化动机满足程度一般。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
大模型训练属于AI高速增长赛道，有行业前景，但职位未强调社会使命，意义感满足中等。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs