深度求索
AI算力集群性能与可靠性工程师
AI算力集群性能与可靠性工程师
发布于 大约 21 小时前普通员工/个人贡献者
杭州市
无经验要求
全职员工
仅现场办公
不限
信息技术与基础设施
Gpu
Nccl
Pytorch
Rdma
Tensorflow
可观测性
性能调优
硬件故障定位
自动化运维
AI 估算 · 20k–35k
AI算力集群岗位技术壁垒高，AI行业快速发展，杭州B轮公司薪资竞争力强，中位数约27500元/月。
职位详情
关于这个职位
作为AI算力集群性能与可靠性工程师，你将负责十万卡级GPU集群的稳定运行，从硬件故障定位、新算力性能调优到可观测性体系建设与自动化运维
这是一个从零到一建设AGI基础设施的核心技术岗位，适合对底层系统有好奇心、喜欢解决复杂问题的技术人才
最低要求
对AGI的真实热情
拆解问题的逻辑能力
系统性的技术视野
清晰的表达能力
动手的冲动
对生产环境的敬畏
工作职责
守护'吞金兽'——让十万卡集群像一台电脑一样稳定：全生命周期管理，持续缩短MTTR，产出根因分析
让新算力'开箱即巅峰'——高质量交付每一批资源：独立完成新节点的基线检查、性能调优与生产验证
把'黑盒'变透明——让集群健康实时可见：建设和优化面向AI超算集群的监控、告警与可观测性体系
用自动化替代人工——让集群自己救自己：构建自动化运维工具链，实现故障自愈
优先资格
熟悉Linux操作系统，理解进程、内存、文件系统、网络的基本原理
接触过容器化技术（Docker/Kubernetes），理解Pod、调度、资源配额等概念
了解PyTorch/TensorFlow的基本工作方式，能看懂常见的报错信息
会用Python或Shell写脚本解决重复性劳动
对RDMA/InfiniBand/GPU架构或性能调优有了解
AI 洞察
优缺点分析
优点
- 岗位核心，直接参与AGI基础设施的建设，技术影响力大
- 成长速度快，要解决十万卡规模下的全新问题，能力提升远超常规运维岗
- 技术栈自由，有机会接触并评估各类前沿工具与方案
- 团队对新人信任度高，入职即负责关键任务，积累实战经验
- 技术深度和广度要求高，需要持续学习硬件、网络、系统、调度等知识
- 问题复杂度高，边界模糊且文档缺失，需要极强的独立探索能力
- 适合对底层技术有强烈好奇心，享受拆解复杂问题，愿意投入时间在AGI领域深耕的技术爱好者
缺点 / 挑战
- 工作压力大，十万卡集群故障频发，需应对随叫随到的应急响应
角色解读
- 从专项硬件故障处理起步，逐步扩展至网络、存储、调度等全栈系统视野
- 成长为AI基础设施领域的技术专家，主导集群架构设计与性能优化
- 向全栈SRE或分布式系统架构师方向发展，负责更大规模的算力平台建设
- 负责十万卡GPU集群的硬件故障定位与快速修复，持续降低MTTR，确保大规模训练任务稳定进行
- 对新到货的算力节点进行基线检查与性能调优，保证每一批资源以最佳状态交付生产
- 建设集群可观测性体系，设计核心监控指标与告警规则，及时发现并预防性能劣化
- 开发自动化运维工具链，实现常见故障的自动诊断与自愈，减少人工干预
- 强大的逻辑拆解能力：能将模糊的故障现象转化为可验证的假设，逐步缩小范围
- 系统性技术视野：理解从GPU、网络到调度框架的完整数据流，能定位性能瓶颈
- 动手实践能力：喜欢折腾新工具，能用Python/Shell自动化重复任务
- 对AGI有真实热情：认同建设AGI基础设施的使命感，愿意应对未知挑战
申请策略
- 准备一个你真正动手做过的复杂问题解决故事，面试中会被深入追问
- 思考并练习回答'训练变慢如何排查'等典型场景问题，展现清晰的推理路径
- 突出动手项目：详细描述你解决过的系统故障、性能优化或自动化工具开发案例
- 展示逻辑推理：在项目描述中体现你如何分析问题、提出假设并验证的过程
- 强调技术热情：提及对GPU、容器、Linux等底层技术的个人探索经历
- 如果跨专业，突出学习能力和快速上手新技术的实例
- 提前熟悉Linux系统管理和Docker/Kubernetes基础操作
- 了解GPU架构和NCCL通信原理，尝试在本地搭建小规模GPU集群做性能测试
面试指南
- 结构化分步：现象描述→假设优先排序→分层排查（硬件/网络/驱动/配置/负载）→数据验证→根因确认
- 强调定量分析：用具体指标（如GPU利用率、PCIe带宽、NCCL延迟）代替模糊描述
- 考虑规模效应：在十万卡规模下，同一问题可能以不同频率和模式出现，需区分偶发与系统性故障
- 训练任务突然变慢了，你如何一步步排查原因？
- 新到的GPU节点跑不到理论峰值，可能的原因有哪些？你如何验证？
- 如果只给你3个核心指标来判断集群整体健康度，你选择哪三个？为什么？
- 你设计一个自动化故障自愈系统，需要考虑哪些边界情况？
- 描述你过去解决的一个复杂问题，从现象到根因的整个推理过程
职位点评
70
综合评分
技术成长极快、使命驱动强、薪资有竞争力，但工作强度大、WLB差。
更适合这类人
适合高度重视技术成长和参与前沿创新，愿意为AGI使命投入高强度工作，对WLB要求不高的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利65
成长发展95
工作生活30
使命价值90
薪资福利
65中等
薪资虽然具有竞争力，但B轮公司稳定性中等，且JD未明确福利，补偿性动机满足程度一般。
薪资信号面议 (20K-35K/月)
成长发展
95较高
岗位提供了极快的成长速度、技术自由和核心业务挑战，发展性动机满足程度极高。
技术前沿前沿/新兴技术
技术栈GPU、Kubernetes、Docker、Linux、Python、PyTorch、TensorFlow、Prometheus、RDMA、InfiniBand、NCCL
成长机会极快的成长速度、技术自由、从零到一建设
业务类型profit_center
工作生活
30较低
仅现场办公，且十万卡集群要求随时响应，WLB较差，生活化动机满足程度低。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
90较高
参与AGI基础设施建设，使命感和行业前景极强，意义感动机满足程度高。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号AGI基础设施、造出通用人工智能
创新程度开拓性创新（行业首创）
深度求索 的其他在招职位
相似职位推荐
Watch Jobs