米哈游
K8s 训练平台研发工程师（训练工作负载与稳定性）
K8s 训练平台研发工程师（训练工作负载与稳定性）
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
Go
Nccl
Operator
Rdma
Sre
分布式训练
值不值得投
78综合评分
综合评分 78
米哈游AI Infra核心岗，技术栈前沿且壁垒高，薪资竞争力强，但涉及oncall有一定稳定性保障压力。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.3万
比平台工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 940 个在招
市场机会
选择适中
上海 · 平台工程 · 42 个在招
职位详情
关于这个职位
该职位负责米哈游AI训练平台的底层架构研发与稳定性保障，主要使用Go语言开发K8s Operator以编排复杂的分布式训练任务
你需要解决多机训练中的各类故障与性能瓶颈，并作为技术对接人支持强化学习等新业务的接入
最低要求
本科及以上学历，两年及以上经验，精通 Go
独立设计并上线过至少一个生产级 Operator（kubebuilder 或 controller-runtime），讲得清 reconcile 幂等、status 设计、finalizer、CRD 版本升级与兼容
做过分布式训练作业（PyTorchJob、MPIJob、Volcano Job、RayJob 之一）的平台开发或运维，处理过多机作业 hang、rendezvous 失败这类问题，讲得出一次完整的排查过程
熟悉 Kubernetes 网络与存储：Service、LoadBalancer、跨集群访问的常见方案与坑，CSI 与 RWX 存储的语义
工作职责
训练作业编排：维护与演进各类训练作业的 Operator
把"多个异构角色、常驻服务与有终态任务共存、部分角色在另一个集群"这类新形态抽象成通用的工作负载原语（角色、生命周期、依赖、暴露、卷、放置）
训练稳定性：多机作业启动失败、节点加入超时、通信 hang、掉卡、OOM 的检测与自动处置
作业级与角色级的自愈、抢占后恢复、断点续训的平台支持
运行效率：作业启动时长（镜像分发与预热、懒加载）、存储读写（共享工作区、检查点读写）、跨集群网络这些基础设施层面的瓶颈定位与优化
训练侧 oncall：配合 SRE 建立训练作业的告警、诊断工具与 SOP，压降重复故障
业务接入：作为训练类新业务（包括强化学习项目）接入平台时的技术对接人，把业务侧的特殊需求沉淀成通用能力
优先资格
做过有状态服务与批作业的混合编排（LeaderWorkerSet、JobSet 或自研同类）
熟悉 NCCL 与 RDMA 网络，能从基础设施侧定位训练性能问题
做过镜像加速（P2P 分发、懒加载）或大规模检查点存储
了解强化学习或大模型后训练系统的运行形态
AI 洞察
优缺点分析
优点
- 处于AI大模型基础设施的核心赛道，技术栈前沿，能积累极具竞争力的K8s与分布式训练实战经验
- 岗位壁垒高，市场上具备生产级Operator开发与多机训练排障经验的复合型人才稀缺，职业发展前景广阔
- 技术深度要求苛刻，需要同时精通K8s底层机制、分布式训练框架及网络存储，学习曲线陡峭
- 适合对底层技术有热情、具备扎实Go与K8s功底，且希望在AI Infra领域深耕的中高级基础架构研发工程师
缺点 / 挑战
- 依托丰富的业务场景（如强化学习、大模型），能接触到海量算力调度与复杂工作负载的真实挑战
- 训练平台的稳定性要求极高，oncall压力较大，需要随时应对多机训练中的各类突发故障与性能瓶颈
角色解读
- 纵向可成长为云原生基础架构专家或AI平台技术负责人，主导更大规模的算力调度与训练平台建设
- 横向可拓展至AI Infra全栈领域，深入大模型后训练、强化学习系统架构，成为AI与底层算力结合的复合型专家
- 负责AI训练平台的底层架构研发，使用Go语言开发和维护K8s Operator，编排复杂的分布式训练任务
- 解决多机训练中的各类稳定性问题（如hang、掉卡、OOM），并优化镜像分发、存储读写等运行效率瓶颈
- 担任训练侧oncall及业务技术对接人，配合SRE建立诊断工具，支持强化学习等新业务接入
- 精通Go语言，具备独立设计并上线生产级K8s Operator的实战经验，深入理解reconcile、CRD等核心机制
- 熟悉分布式训练框架（如PyTorchJob）及K8s网络与存储底层原理，具备排查多机训练故障的能力
- 具备扎实的基础设施排障与性能调优能力，能够处理跨集群网络、存储读写等复杂场景
申请策略
- 提前了解米哈游在AI大模型和强化学习方面的业务布局，思考训练平台如何更好地支撑这些业务场景
- 重点突出独立设计并上线生产级K8s Operator的经历，详细说明reconcile幂等性、status设计及CRD版本兼容等细节
- 详细描述参与过的分布式训练作业平台开发经验，特别是处理多机hang、rendezvous失败等复杂问题的排查过程
- 展示在K8s网络与存储方面的优化经验，以及镜像加速或大规模检查点存储的落地成果
- 深入复习K8s Operator开发最佳实践，特别是controller-runtime的底层原理与状态机设计
- 了解NCCL、RDMA等高性能网络协议，以及LeaderWorkerSet等最新的K8s批处理与有状态服务编排方案
面试指南
- STAR法则：针对排查和优化类问题，按照情境、任务、行动、结果的结构，重点突出排查思路和技术细节
- 原理+实践：回答Operator设计问题时，先阐述K8s控制循环的底层原理，再结合具体业务场景说明设计取舍和踩过的坑
- 请详细描述你独立设计的一个生产级Operator，它的reconcile逻辑是如何保证幂等性的？finalizer是如何使用的？
- 在多机分布式训练中，如果遇到作业hang或者节点加入超时，你的排查思路是什么？请分享一个完整的排查案例
- 针对训练作业启动时长过长的问题，你在镜像分发或存储读写方面做过哪些优化？
- 如何设计一个支持抢占后恢复和断点续训的平台机制？
- 梳理过往项目中最复杂的1-2个技术难点，准备好详细的技术方案、架构图以及遇到的问题和解决方案
- 复习K8s核心组件源码及分布式训练框架的底层通信机制，确保能应对深度的技术拷问
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
该岗位属于高门槛的AI基础架构研发，结合上海地区市场行情及公司背景，薪资竞争力较强，但未在JD中明确披露具体薪资数字。
薪资信号未披露（AI估算：3千–5.5万/月）
成长发展
90较高
岗位涉及大模型训练平台、K8s Operator、分布式训练等前沿技术，技术壁垒高，能极大提升个人在AI Infra领域的核心竞争力。
技术前沿前沿/新兴技术
技术栈Go、Kubernetes、Operator、kubebuilder、controller-runtime、PyTorchJob、NCCL、RDMA
业务类型cost_center
工作生活
50较低
岗位包含训练侧oncall职责，且涉及多机训练稳定性保障，工作节奏和压力可能较大，JD未明确提及WLB相关信息。
工作模式未明确
办公地点未明确
加班情况JD含高强度暗示词
使命价值
80较高
岗位致力于构建大模型与强化学习的训练基础设施，直接支撑前沿AI技术的研发与落地，具有较高的行业前景与技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs