小红书
大模型分布式训练引擎研发实习生
大模型分布式训练引擎研发实习生
发布于 3 天前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Deepspeed
Gpu优化
Megatron-Lm
Nccl
Pytorch
Tensorflow
分布式训练
强化学习
值不值得投
74综合评分
综合评分 74
前沿大模型分布式训练实习，技术成长快，但工作强度可能较高。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
8K
比机器学习工程中位数低
发布情况
新岗位 · 2 天前发布
公司情况
这家公司招聘很活跃
约 1300 个在招 · 其中机器学习工程 13 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 350 个在招
职位详情
关于这个职位
这是一个在小红书参与千亿级大模型分布式强化学习训练框架研发的实习岗位
你将与团队一起优化百卡至千卡级训练吞吐与资源利用率，适配多模态强化学习算法，并调优各种并行策略
适合对大规模分布式训练和性能优化有浓厚兴趣、具备扎实编程基础的在校学生
最低要求
优秀的代码能力、数据结构和基础算法功底，熟悉Python开发，熟悉 Linux/Git开发环境
有较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步（⭐️有大牛带着成长）
熟悉至少一种主流基础深度学习训练框架（TensorFlow/PyTorch/PaddlePaddle等）的使用和实现
了解主流LLM模型结构，使用过至少一种主流LLM训练框架（Megatron-LM/DeepSpeed/veRL等）
工作职责
参与千亿级大模型的分布式强化学习 RL 训练框架研发，提升百卡~千卡级训练吞吐与资源利用率
参与100B以上多模态强化学习算法流程适配（如DAPO等），各领域任务的 RL 正确性验证
实验并调优不同并行策略（Tensor/ZeRO/FSDP/Pipeline Parallelism）在超大规模模型上的最佳配置组合
协助定位分析分布式训练中的关键性能瓶颈（如GPU利用率低、显存瓶颈、网络通信阻塞、I/O延迟等），设计并实施优化方案进行验证
参与研发/优化训练引擎的关键特性，如大规模集群下的稳定断点续训、高性能异步Rollout机制、以及高性能算子（Kernel）的集成与优化
优先资格
熟悉DP/TP/PP/ZeRO等分布式训练策略原理，有大模型训练调优分析经验者优先
熟悉至少一种AI编译加速组件者优先，包含但不限与TorchInductor/TVM/Triton/XLA等
了解并行计算、网络通信、系统优化和集群硬件架构等相关知识者优先
了解 GPU 硬件架构和 GPU 软件栈（CUDA，cuDNN)，具备一定的 GPU 性能分析的能力
熟悉NCCL/RDMA/IB/RoCE相关知识者优先
有优秀开源项目经历者优先
AI 洞察
优缺点分析
优点
- 参与前沿的大模型分布式训练技术，技术含量高
- 公司平台大，有导师指导，成长速度快
- 工作地点在一线城市，薪资待遇较好
- 技术难度大，需要较强的学习能力和自驱力
- 可能面临高强度工作，需要适应快节奏
- 分布式训练调试复杂，需要耐心和细致
缺点 / 挑战
- 适合对大规模分布式训练和性能优化有浓厚兴趣，具备扎实编程基础，乐于挑战技术难题的在校学生
角色解读
- 从实习开始积累大规模分布式训练经验，可转正为正式工程师
- 深入强化学习和AI基础设施领域，成为技术专家
- 有机会参与前沿技术研究，发表论文或开源项目
- 参与千亿级大模型分布式强化学习训练框架的研发，优化训练吞吐和资源利用率
- 适配多模态强化学习算法流程，验证RL正确性
- 实验并调优不同并行策略在超大规模模型上的配置
- 定位分析分布式训练性能瓶颈，设计并实施优化方案
- 扎实的Python编程能力和数据结构基础
- 熟悉至少一种深度学习框架（如PyTorch）
- 了解LLM模型结构和主流训练框架（如Megatron-LM）
- 加分项：熟悉分布式训练策略、GPU优化、NCCL等
申请策略
- 关注小红书的技术博客和开源项目，了解其技术栈
- 在面试中展示对分布式训练的热情和解决问题的能力
- 突出Python编程能力和数据结构基础
- 强调使用过PyTorch等深度学习框架的项目经验
- 展示对LLM和分布式训练的了解，如使用过Megatron-LM
- 如有开源项目或竞赛经历，务必提及
- 提前学习分布式训练原理，如DP/TP/PP/ZeRO
- 熟悉GPU优化工具，如CUDA、NCCL
面试指南
- 对于技术问题，先阐述原理，再结合项目经验说明
- 对于优化问题，采用问题定位-分析-解决方案-验证的框架
- 对于经验类问题，用STAR法则描述具体案例
- 请解释一下ZeRO和FSDP的区别和适用场景
- 如何定位分布式训练中的GPU利用率低的问题？
- 你使用过哪些LLM训练框架？请描述一个调优经验
- 谈谈你对强化学习在LLM中的应用（如RLHF）的理解
- 如何优化网络通信在分布式训练中的性能？
职位点评
薪资福利70
成长发展90
工作生活50
使命价值80
薪资福利
70中等
实习岗位薪资未明确，但作为一线城市大模型方向实习，津贴通常处于市场中上水平，且公司规模大，福利相对完善。
薪资信号未披露（AI估算：6K-10K/月）
成长发展
90较高
该岗位涉及前沿的大模型分布式训练技术，技术含量高，且有导师指导，成长空间大，发展性动机得到很好满足。
技术前沿前沿/新兴技术
技术栈分布式训练、强化学习、PyTorch、Megatron-LM、DeepSpeed、GPU优化
成长机会有大牛带着成长
业务类型ambiguous
工作生活
50较低
工作地点在一线城市，但办公模式未明确，可能需现场办公，且技术岗可能面临加班，生活化动机满足程度有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
大模型和AI技术是当前高速发展的领域，该岗位参与前沿技术研发，具有较高的行业前景和使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs