腾讯
AI Infra SRE 工程师(大模型推理)(深圳/北京)
AI Infra SRE 工程师(大模型推理)(深圳/北京)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公DevOps/SRE
DevOps/SRE
Go
Gpu调度
Kv Cache
Sglang
Sre
Vllm
可观测性
大模型推理
值不值得投
72综合评分
综合评分 72
大模型推理基础设施方向、技术前沿成长性强，需承担值班与线上稳定性压力，WLB 信息不明。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比DevOps/SRE中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2260 个在招 · 其中DevOps/SRE 13 个
市场机会
选择适中
深圳 · DevOps/SRE · 28 个在招
职位详情
关于这个职位
该岗位负责腾讯大模型在线推理服务的全链路 SRE 工作，包括稳定性保障、GPU 资源池容量与成本运营、KV Cache 与推理性能优化，以及可观测体系和 SRE 工具链建设
你需要同时兼顾推理集群的日常运维值班与平台效能提升，是连接模型推理业务与底层基础设施的关键角色
最低要求
本科及以上学历，计算机、软件工程、电子信息等相关专业
熟悉 Go / Python 编程语言，了解 Kubernetes 核心机制，熟悉主流推理框架（vLLM / SGLang 等）
具备 1 年以上大规模在线服务（推理 / 训练 / 高性能计算）SRE 或平台运维经验
深入理解大模型 KV Cache 调优与推理性能优化
参与过大型模型系统的成本 / 资源优化项目，对潮汐调度、模型评测等场景有实际运维经验
积极主动、有自驱力，具备较强的学习能力
工作职责
负责大模型在线推理服务（含评测、潮汐调度等业务形态）的全链路稳定性保障：日常值班、告警响应、故障定位与复盘，推动根因治理与长期改善
负责推理服务性能与容量运营：KV Cache 调优、吞吐与时延优化、GPU 资源池水位监控与弹性调度，参与成本 / 资源优化专项
建设面向推理场景的可观测体系：TTFT / TPOT、缓存命中率、GPU 利用率、排队时延等 SLI/SLO 指标落地，结合 Tracing / Logging 定位长尾问题
参与推理集群（Kubernetes）日常运维：多机多卡部署与调度策略、Pod 异常与故障节点隔离、灰度发布与回滚预案
沉淀 SRE 工具链与效能建设：巡检工具、故障自愈脚本、容量与成本预测模型，持续降低人工运维成本
AI 洞察
优缺点分析
优点
- 直面大模型推理这一当前最紧缺的技术方向，KV Cache、推理框架等经验稀缺度高
- 稳定性、性能、成本三条线并进，可同时积累 SRE 与 AI Infra 两类能力
- JD 明确要求工具化与平台化建设，有空间沉淀可复用的工程资产
- 岗位覆盖值班、优化、建设多个环节，轮岗内容丰富，成长曲线较陡
- 稳定性与成本优化目标常常冲突，需要在资源约束下做权衡取舍
- 适合有 1-3 年大规模在线服务运维经验、对 GPU 与推理性能优化有强烈兴趣、能接受值班节奏的工程师
缺点 / 挑战
- 需要承担日常值班与告警响应，线上故障时点不确定，心理压力较大
- 推理性能优化横跨框架、GPU、网络多层知识，入门门槛较高
角色解读
- 沿 SRE / 平台工程纵深发展，可成长为推理基础设施与 GPU 集群方向的技术专家
- 技能栈通用性强，可横向转向 AI 平台、模型工程或云原生架构岗位
- 积累成本与容量运营经验后，可向基础设施规划或技术运营管理方向延伸
- 负责大模型在线推理服务的全链路稳定性：日常值班、告警响应、故障定位与复盘，并推动根因治理落地
- 做推理性能与容量运营，包括 KV Cache 调优、吞吐与时延优化、GPU 资源池水位监控与弹性调度
- 建设推理场景的可观测体系，落地 TTFT/TPOT、缓存命中率、GPU 利用率等 SLI/SLO 指标，并用 Tracing/Logging 定位长尾问题
- 维护 Kubernetes 推理集群，沉淀巡检、自愈、容量与成本预测等 SRE 工具链，持续降低人工运维成本
- 熟练使用 Go / Python，理解 Kubernetes 核心机制与多机多卡部署调度
- 熟悉 vLLM / SGLang 等主流推理框架，深入理解 KV Cache 与推理性能优化
- 具备大规模在线服务（推理/训练/HPC）的 SRE 或平台运维经验，能独立完成故障定位与复盘
- 具备可观测性体系建设能力（SLI/SLO、Tracing、Logging）与成本资源优化意识
申请策略
- 简历中用量化稳定性指标（可用性、MTTR、告警收敛率）和资源节省效果说话，避免只罗列职责
- 提前了解腾讯在大模型推理平台与混元方向上的业务进展，面试时能结合具体场景谈优化思路
- 突出大规模在线服务的 SRE 经历，写清值班机制、告警治理、故障复盘与根因治理的量化结果
- 写明 Kubernetes 生产环境经验：多机多卡调度、灰度发布、Pod 异常与故障节点隔离的具体做法
- 展示推理框架实践：vLLM/SGLang 部署、KV Cache 调优、吞吐与时延优化的前后对比数据
- 补充可观测性建设成果：SLI/SLO 设计、Tracing/Logging 落地、GPU 利用率监控体系
- 系统学习 vLLM / SGLang 的请求调度与 KV Cache 机制，动手做压测与小规模调优实验
- 补强 GPU 与性能分析工具链，如 nvidia-smi、Nsight、Prometheus + Grafana 组合使用
面试指南
- 排查类问题先讲方法论：分层定位（业务层→推理框架层→GPU/网络层），用指标缩小范围再验证假设
- 优化类问题用「现状指标—瓶颈分析—实验验证—量化收益」四步结构回答
- 稳定性问题强调闭环：先止损、再找根因、再做长期治理与预案演练，并说明自动化沉淀
- 线上推理服务 P99 时延突然大幅上升，你会如何分层定位问题？
- KV Cache 命中率偏低时，你会从哪些角度分析和优化？
- 如何为一个大模型推理服务设计 SLI/SLO 指标体系？
- GPU 资源池水位偏高但业务暂时无法扩容，你如何平衡容量与成本？
- 讲一次你主导的故障复盘，根因是什么，做了哪些长期治理？
职位点评
薪资福利74
成长发展88
工作生活45
使命价值72
薪资福利
74中等
JD 未披露薪资范围与福利信息，但岗位聚焦大模型推理基础设施，技能稀缺度较高，通常存在一定市场议价空间。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
88较高
岗位直接涉及 vLLM/SGLang、KV Cache、GPU 调度等前沿技术，JD 中性能优化与成本治理内容占比高，技能积累价值突出。
技术前沿前沿/新兴技术
技术栈Go、Python、Kubernetes、vLLM、SGLang、KV Cache、GPU 资源池、TTFT/TPOT、SLI/SLO、Tracing
业务类型cost_center
工作生活
45较低
JD 明确包含日常值班与告警响应，但未说明办公模式、弹性安排或加班政策，WLB 相关信息不足。
工作模式未明确
办公地点市区核心地段
加班情况JD含高强度暗示词
使命价值
72中等
大模型推理属于当前技术热点方向，岗位支撑的业务具备行业前沿性；但 JD 未表述社会价值或使命相关内容。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
腾讯 的其他在招职位
相似职位推荐
Watch Jobs