米哈游
RL 训练平台研发工程师
RL 训练平台研发工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
Go
Nccl
Openrlhf
Pytorch
Verl
分布式系统
强化学习
值不值得投
80综合评分
综合评分 80
核心AI基础架构岗，技术栈前沿且极具挑战，薪资竞争力强，但工作强度与稳定性保障压力可能较大。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4万
比平台工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 940 个在招
市场机会
选择适中
上海 · 平台工程 · 42 个在招
职位详情
关于这个职位
该职位负责米哈游强化学习（RL）训练平台的研发与优化，包括定义平台契约、实现训推协同、保障长跑任务可用性，以及支持后训练框架的接入与性能调优
你需要与算法团队紧密合作，解决分布式训练中的工程与稳定性问题，推动新训练范式的落地
最低要求
本科及以上学历，两年及以上经验，精通 Python，能读写 Go 或 C++ 之一
下面两项至少一项有实战，另一项能看懂：读过并改过 verl、OpenRLHF、NeMo-RL 之一的源码，讲得清数据流、资源编排（colocate 与 separate 的取舍）、权重同步的实现
做过分布式 RL 系统的工程实现，例如 actor-learner-replay 架构（IMPALA、SEED、Ape-X 一类）、自博弈或联赛训练（只跑过算法实验不算）
熟悉 PyTorch 分布式与 NCCL，有一次讲得出数据的训练性能优化或故障排查（现象、profiling、根因、收益）
理解 PPO、GRPO 等常用算法的原理，能和算法同学对话（不要求自己调出效果）
熟悉容器与 Kubernetes 的基本概念，能和平台研发讨论 CRD 设计
工作职责
RL 工作负载的平台契约：和业务方梳理 RL 任务的角色构成与运行时需求，定义平台原语（角色、生命周期、卷、端口、放置），守住平台与算法的边界，保证业务切换训练范式时平台不用发版
训推协同：活跃模型池（权重版本化发布、原子切换、回收），训练端到采样、推理端的权重同步，rollout 推理服务的接入
长跑任务的可用性：检查点续跑，训练器、数据服务、采样侧的整栈状态恢复，训练中的连续评估与结果回流
后训练框架支持：verl、OpenRLHF 等框架在平台上的接入、版本维护与性能优化（并行策略、显存、通信、rollout 与训练的重叠），帮业务方定位训练瓶颈与稳定性问题
作为首个落地项目的技术对接人，按角色逐步迁移到新原语，每一步给出可对比的基线
优先资格
Megatron-LM 或 FSDP 后端的性能调优经验
设计过大规模经验回放或样本服务，有异步 RL、训推分离部署的落地经验
有相关开源项目贡献
AI 洞察
优缺点分析
优点
- 处于AI与大模型训练平台的核心领域，技术栈前沿，能积累深厚的分布式系统与AI工程化经验
- 公司提供充足的算力资源与丰富的业务场景，有利于技术落地与验证
- 岗位核心性强，直接与算法团队对接，能深刻理解算法与工程的结合点，提升综合技术视野
- 需要同时掌握底层系统（K8s、C++/Go）与上层算法框架（PyTorch、RL算法），技术跨度大，学习曲线陡峭
缺点 / 挑战
- 强化学习训练任务复杂且周期长，排查分布式环境下的性能瓶颈和稳定性问题难度较大
- 具备扎实分布式系统基础，对AI训练平台有浓厚兴趣，且希望在大算力场景下挑战复杂工程问题的研发工程师
角色解读
- 纵向可成长为AI基础架构专家或平台技术负责人，主导更大规模的AI训练平台建设
- 横向可向AI系统架构师或算法工程化专家发展，深入参与大模型及强化学习的前沿落地
- 负责强化学习（RL）训练平台的底层架构设计与平台原语定义，确保平台与算法业务的解耦
- 实现训推协同机制，包括模型权重同步、活跃模型池管理以及rollout推理服务的接入
- 保障长跑训练任务的高可用性，处理检查点续跑、状态恢复及连续评估
- 支持并优化后训练框架（如verl、OpenRLHF），解决分布式训练中的性能瓶颈与稳定性问题
- 精通Python，并具备Go或C++的读写能力，熟悉PyTorch分布式训练与NCCL通信
- 深入理解强化学习算法（如PPO、GRPO）及分布式RL系统架构（如actor-learner-replay）
- 熟悉容器化技术与Kubernetes，能够参与CRD设计，具备大规模分布式系统的工程实现经验
申请策略
- 准备1-2个具体的训练性能优化或故障排查案例，能够清晰描述现象、profiling过程、根因分析及最终收益
- 突出在分布式系统、Kubernetes或大规模训练平台方面的实际项目经验，特别是解决过的性能优化或故障排查案例
- 详细列出对verl、OpenRLHF等开源框架的源码阅读或修改经验，以及对RL系统架构的理解
- 展示对PyTorch分布式、NCCL的熟悉程度，以及参与过的开源项目贡献
- 深入研读主流后训练框架（如verl、OpenRLHF）的源码，理解其数据流与资源编排机制
- 补充Megatron-LM或FSDP后端的性能调优知识，提升对大模型训练底层的理解
面试指南
- 故障排查类：采用STAR法则，先描述复杂现象，再展示使用profiling工具定位瓶颈的过程，最后说明根因、优化手段及量化收益
- 架构设计类：从业务需求出发，对比不同方案的优劣（如性能、资源利用率、扩展性），结合具体场景说明最终选择及落地效果
- 请详细描述一次你排查过的PyTorch分布式训练性能问题或故障，包括现象、排查思路和最终解决方案
- 在分布式RL系统中，colocate与separate部署各有什么优缺点？你在实际项目中是如何取舍的？
- 如何设计一个高可用的长跑训练任务检查点（Checkpoint）续跑机制？
- 请谈谈你对verl或OpenRLHF框架数据流和权重同步机制的理解
- 在Kubernetes中，如何设计CRD来管理复杂的RL训练任务角色与生命周期？
- 提前复习PyTorch分布式训练原理、NCCL通信机制以及Kubernetes CRD设计模式
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
该岗位属于核心AI基础架构，技术门槛高，薪资水平预计处于上海同类岗位市场前列。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
90较高
岗位涉及前沿的RL训练平台与后训练框架，技术栈极具挑战性，能接触到大规模算力与核心算法工程化，成长空间巨大。
技术前沿前沿/新兴技术
技术栈Python、Go、C++、PyTorch、NCCL、Kubernetes、verl、OpenRLHF、Megatron-LM、FSDP
业务类型cost_center
工作生活
60中等
JD未明确提及工作模式与WLB信息，但作为核心研发岗，且涉及长跑任务与稳定性保障，可能存在一定的on-call或高强度工作需求。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
推动强化学习训练平台的演进，支撑前沿AI算法的落地，具有较高的技术使命感与行业前瞻性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs