腾讯
大模型训练生产SRE工程师（深圳/上海/北京）
大模型训练生产SRE工程师（深圳/上海/北京）
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公DevOps/SRE
DevOps/SRE
Cuda
Gpu调优
Nccl
Pytorch
Rdma
Sre
大模型训练
故障排查
值不值得投
75综合评分
综合评分 75
大厂核心AI Infra岗位，技术前沿性强，薪资优厚，但工作强度大，适合追求技术深度的极客
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
比DevOps/SRE中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1850 个在招 · 其中DevOps/SRE 14 个
市场机会
选择适中
深圳 · DevOps/SRE · 39 个在招
职位详情
关于这个职位
负责大模型训练链路的稳定性治理与生产保障，协同基础设施团队构建诊断、可视化及自愈能力
主要职责包括On-call排障、故障分析及流程优化，需深入理解大模型训练框架及GPU底层硬件原理，确保大规模算力资源的高效稳定运行
最低要求
熟悉大模型预训练、后训练流程，熟悉Megatron/PyTorch等框架原理
熟悉GPU、NCCL集合通信和k8s/docker容器技术原理，有GPU硬件、驱动、Cuda、RDMA等调优经验
有大规模任务系统故障排查、分析解决经验者优先
具有强烈的工作责任心和自驱力，有良好的学习沟通能力
工作职责
负责大模型训练链路的稳定性治理和模型生产保障
协同包括框架、算力、网络、存储等基础设施，系统建设大模型训练的诊断、可视化、自愈能力
负责大模型训练生产的oncall、排障和流程优化建设
AI 洞察
优缺点分析
优点
- 接触业界最前沿的大模型训练基础设施，技术壁垒高，个人竞争力强
缺点 / 挑战
- 大模型训练链路复杂，故障排查难度极大，On-call压力大，需具备极强的抗压能力和快速定位问题的能力
- 喜欢挑战高技术难度问题、对底层系统原理有浓厚兴趣、能承受高强度工作节奏的资深工程师
角色解读
- 可向AI Infra架构师、SRE专家或技术管理方向发展，成为大模型基础设施领域的权威专家
- 保障大模型训练集群的高可用性，处理GPU集群、网络存储等基础设施层面的复杂故障
- 精通K8s/Docker容器化技术，深入理解GPU硬件、CUDA、NCCL通信库及RDMA网络协议
申请策略
- 准备具体的故障排查STAR案例，展示如何在极端压力下快速恢复服务并优化流程
- 突出大规模分布式系统故障排查案例，详细列举在GPU调优、K8s集群管理或网络性能优化方面的具体成果
- 深入学习Megatron-LM、DeepSpeed等大模型并行训练框架原理，掌握NCCL和RDMA的高级调优技巧
面试指南
- 采用STAR原则（情境、任务、行动、结果）描述故障排查过程，重点强调数据分析方法、工具使用及最终的系统性改进措施
- 请描述一次你处理过的最复杂的GPU集群故障，你是如何定位根因的？
- NCCL通信瓶颈通常出现在哪些场景？有哪些优化手段？
- 如何设计一个自动化的大模型训练任务自愈系统？
- K8s调度器在大规模GPU任务中的痛点及解决方案是什么？
- 复习Linux内核、网络协议栈、GPU架构知识，梳理过往项目中关于性能调优和稳定性建设的深度案例
职位点评
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利
85较高
作为上市巨头企业的核心研发岗位，薪资水平处于行业顶尖梯队，福利体系完善，满足度高。
薪资信号未披露（AI估算：3.0千–6.0万/月）
成长发展
90较高
岗位直接关联大模型这一前沿技术领域，涉及底层硬件与框架的深度交互，技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈大模型、Megatron、PyTorch、GPU、NCCL、Kubernetes、Docker、CUDA、RDMA
业务类型profit_center
工作生活
40较低
互联网大厂核心研发岗位通常伴随较高的工作强度和On-call责任，WLB相对一般。
工作模式未明确
办公地点市区核心地段
加班情况JD含高强度暗示词
使命价值
70中等
参与构建支撑大模型发展的基础设施，对推动AI技术进步具有显著的行业价值和社会影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
腾讯 的其他在招职位
相似职位推荐
Watch Jobs