小红书
【2027校招】大模型训练框架研发工程师
【2027校招】大模型训练框架研发工程师
发布于 大约 1 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Megatron
Pytorch
Rlhf
分布式训练
国产芯片适配
大规模训练
强化学习
性能优化
值不值得投
75综合评分
综合评分 75
校招顶尖技术岗，深度参与大模型训练核心研发，技术成长天花板极高，但对系统工程能力要求苛刻，工作生活平衡信息不明。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
33K
与机器学习工程中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1410 个在招 · 其中机器学习工程 24 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 360 个在招
职位详情
关于这个职位
这是一个面向2027届毕业生的校园招聘岗位，专注于大模型训练框架的研发与优化
你将负责核心的强化学习后训练框架开发，攻克千卡级分布式训练的稳定性、性能优化以及国产异构芯片适配等技术难题，构建生产级的后训练工具链，以支撑公司大语言模型、多模态模型及智能体的前沿算法探索与工程落地
最低要求
精通 PyTorch，具备训练框架源码级阅读与修改能力，有实际性能优化经验
熟练掌握 Megatron、DeepSpeed、veRL、Slime、AReal、OpenRLHF 中至少一种框架的使用与二次开发
理解分布式训练核心技术，包括 TP、PP、DP、ZeRO、序列并行、梯度累积、混合精度训练等
熟悉 RLHF、DPO、PPO、GRPO、OPD、MOPD 等大模型算法流程，有实际训练调优或框架开发经验优先
具备模型训练性能分析经验，能借助 Nsight Systems / Compute、nvprof、PyTorch Profiler 等工具定位训练性能瓶颈
具备良好的工程实现能力、沟通协作能力和问题闭环意识
工作职责
RL 后训练框架研发： 负责 Relax RL 后训练框架的核心研发，支持 SFT、DPO、PPO、GRPO、RLVR 等主流后训练范式，持续追踪并落地前沿算法
RL Pipeline 优化： 设计高效的 RL 训练 Pipeline，优化 Rollout、Reward Model、Actor、Reference Model 等模块间的资源调度与动态协同，提升端到端训练吞吐
分布式训练优化： 基于 Megatron、SGLang 等训推框架，针对Agentic RL 场景调优 TP / PP / DP /SP 以及 PD分离、KV 压缩等策略，在性能、显存与稳定性之间取得最优平衡
千卡训练稳定性建设： 攻克大规模训练中的显存管理、跨节点通信、弹性容错、任务调度与数据流转等核心挑战，提升训练成功率与集群资源利用率
异构芯片训练适配： 负责训练框架在国产异构计算芯片（昇腾 / PPU / 昆仑芯 等）上的适配与优化，完成模型迁移、算子支持、框架适配、Profiling 与 Kernel 调优，推动国产算力在训练场景的规模化使用
后训练工具链建设： 构建端到端后训练工具链，打通训练框架与 MLOps 平台，提供训练可视化、自动超参搜索、故障诊断等生产级能力，降低算法团队使用门槛
业务协同与算法探索： 与算法团队紧密协作，支撑 LLM / MLLM / Agent 等业务方向在 SFT 与Agentic RL 领域的算法探索与工程落地
优先资格
有千卡级大模型训练或后训练实战经验，成功解决过跨节点通信、容错训练、显存优化、训练稳定性等生产级问题
熟悉 NCCL / RDMA / InfiniBand / RoCE 等高性能网络通信机制，能独立定位跨机通信瓶颈
有 CUDA Kernel 开发经验，如 Fused Operator、FlashAttention、通信计算重叠（Overlap）等性能优化
有国产异构芯片（昇腾 Ascend、平头哥 PPU、昆仑芯XPU）训练适配或 Kernel 开发经验，熟悉 CANN / ROCm 等基础软件栈
有大模型在国产芯片上规模化落地实战经验者优先
深入理解 GPU / NPU 硬件架构（Tensor Core、内存层级、计算单元、通信拓扑），能结合硬件特性进行差异化训练优化方案设计
参与过 Megatron、DeepSpeed、Slime、AReal、OpenRLHF、TRL 等开源项目的核心模块开发或贡献
在大模型训练、分布式系统或 MLSys 方向有高水平学术论文发表
AI 洞察
优缺点分析
优点
- 直接参与最前沿的大模型训练技术研发，技术栈尖端，成长天花板高
- 校招岗位提供系统培养，能接触到超大规模AI训练的生产环境，工程视野开阔
- 技术难度极高，需要同时掌握底层系统优化、分布式计算和前沿AI算法，学习曲线陡峭
- 工作需要极强的工程耐心与严谨性，调试大规模分布式训练问题复杂且耗时
- 作为研发工程师，需紧密配合算法团队，对业务理解和快速响应能力有要求
- 对构建大规模AI计算系统有强烈热情，具备扎实的编程功底和系统思维，喜欢攻克底层技术难题，并且对国产AI芯片生态有探索兴趣的应届毕业生
缺点 / 挑战
- 有机会挑战千卡级训练和国产芯片适配等工业界顶级难题，解决后极具行业竞争力
角色解读
- 技术深度上，可成为分布式系统、AI Infra或MLSys领域的顶级专家或架构师
- 技术广度上，可横向拓展至模型推理优化、MLOps平台或AI编译器等相邻领域
- 职业发展上，可凭借深厚的技术影响力，转向技术管理岗位，带领AI基础设施团队
- 负责大模型后训练（如SFT、DPO、PPO）框架的核心研发与性能优化
- 设计与实现大规模分布式训练Pipeline，解决千卡级训练中的稳定性、通信与效率问题
- 将训练框架适配到国产异构芯片（如昇腾、昆仑芯）上，并进行性能调优
- 构建生产级后训练工具链，与算法团队协作，推动前沿AI算法在业务中落地
- 精通PyTorch及主流分布式训练框架（如Megatron、DeepSpeed），具备源码级修改与性能优化能力
- 深刻理解分布式训练原理（TP/PP/DP等）和强化学习后训练算法（RLHF等）
- 拥有CUDA Kernel开发、性能分析（Profiler工具使用）和系统级问题诊断能力
- 了解GPU/NPU硬件架构，并有针对国产芯片进行适配优化的实践经验
申请策略
- 仔细研究小红书在AI技术方面的公开分享（如技术博客、开源项目），了解其技术栈与挑战
- 在面试中，不仅要谈算法理解，更要强调你的工程实现能力和对性能优化的思考
- 重点突出使用PyTorch、Megatron、DeepSpeed等进行模型训练或框架开发的项目经验
- 详细描述在任何分布式训练、性能优化或系统调试中解决具体问题的案例
- 如有，强调在CUDA编程、GPU优化或参与开源AI项目的贡献
- 展现扎实的数据结构、算法基础和优秀的工程实践能力
- 深入学习并实践至少一种分布式训练框架的源码，理解其并行策略和通信机制
- 掌握GPU性能分析工具（如Nsight Systems）的使用，并尝试分析简单模型的训练瓶颈
面试指南
- 对于原理问题，采用“核心思想-技术细节-优缺点/应用场景”的框架进行阐述
- 对于问题解决类问题，采用“问题分析-定位手段-解决方案-验证与总结”的框架
- 结合自己的实际项目经验，用STAR法则（情境、任务、行动、结果）具体说明
- 请描述一下你如何使用PyTorch实现一个简单的数据并行训练？其中可能遇到哪些瓶颈？
- 解释一下Megatron中的张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism）的基本原理和区别
- 如果你发现一个大规模分布式训练任务频繁因跨节点通信问题失败，你会如何定位和解决这个问题？
- 请谈谈你对RLHF（基于人类反馈的强化学习）训练流程的理解，其中哪些环节对计算资源要求最高？
- 你对我们目前支持的国产芯片（如昇腾）的训练生态有什么了解？认为适配工作最大的挑战是什么？
职位点评
薪资福利65
成长发展95
工作生活50
使命价值80
薪资福利
65中等
作为校招岗位，薪资预计处于市场较高水平，能提供不错的起始薪酬和福利保障，但具体细节（如薪资结构、完整福利清单）在JD中未完全披露。
薪资信号未披露（AI估算：25K-40K/月）
成长发展
95较高
该职位是典型的前沿技术岗，能深度参与大模型训练框架的研发，接触顶尖的分布式系统和国产芯片适配挑战，技术成长空间极大，且JD明确提到了多个成长方向。
技术前沿前沿/新兴技术
技术栈PyTorch、Megatron、DeepSpeed、RLHF、PPO、CUDA Kernel、分布式训练、国产芯片、MLOps
成长机会持续追踪并落地前沿算法、推动国产算力在训练场景的规模化使用、降低算法团队使用门槛、算法探索与工程落地
业务类型profit_center
工作生活
50较低
JD中未明确说明工作模式（如是否远程、弹性工作）和办公地点的具体类型，无法判断工作强度和生活平衡情况。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
该岗位处于人工智能大模型技术发展的核心环节，致力于解决行业级技术难题（如千卡训练稳定性、国产芯片适配），具有较高的技术创新性和行业影响力。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
小红书 的其他在招职位
相似职位推荐
Watch Jobs