LLM 网关 SRE 工程师

优缺点分析

角色解读

• 向 AI 基础设施架构师发展，负责大规模推理集群设计与优化
• 可转型为 MaaS 平台技术负责人，主导推理平台整体稳定性
• 积累大模型运维经验后，可转向 AI 平台研发或 SRE 管理岗
• 设计并维护 LLM 网关和推理服务的监控告警系统，确保核心指标可观测
• 负责 CI/CD 流水线和灰度发布，保障模型路由、限流等配置变更安全
• 排查流式中断、OOM、超时等稳定性问题，参与 GPU/NPU 容量规划
• 制定 SLO/SLI 体系，组织故障响应复盘，沉淀运维规范
• 精通 Kubernetes、Prometheus、Grafana 等监控和容器编排工具
• 熟悉 vLLM、Triton 等推理引擎的部署和故障排查
• 掌握 Go/Python/Shell 编程，能编写运维自动化脚本
• 具备 LLM 服务运维经验，理解流式、限流、Token 计量等概念

申请策略

• 面试前准备一个过往运维大模型服务的成功案例，详细说明问题解决过程
• 了解米哈游在 AI 方面的业务布局，展现对游戏+AI 的兴趣
• 突出 LLM/AI 推理服务的运维经历，列出具体故障排查案例
• 展示 Kubernetes、Prometheus 等工具的使用深度，最好有告警治理项目
• 强调 CI/CD 和灰度发布经验，以及 SLO/SLI 体系搭建成果
• 提前学习 vLLM、Triton 等推理引擎的部署和调优
• 掌握 GPU/NPU 资源管理基础知识，了解模型路由和限流策略

面试指南

• 使用 STAR 法则：描述场景、任务、行动、结果，突出量化指标
• 强调系统性思维：从架构视角分析根因，提出长期治理方案
• 如何设计 LLM 网关的监控指标和告警策略？
• 描述一次排查流式中断或 OOM 问题的经历
• 如何制定灰度发布和回滚策略以保证推理服务稳定？
• 解释 GPU 显存不足导致 OOM 的处理流程
• 你如何衡量 SLO 达成情况？
• 准备 LLM 推理流程的深入了解，包括 TTFT、TPOT、流式成功率等指标