米哈游
AI 推理网关（智能路由）研发工程师
AI 推理网关（智能路由）研发工程师
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公后端开发
后端开发
Api网关
Envoy
Go
Llm推理
Sglang
Vllm
微服务
智能路由
系统架构
值不值得投
78综合评分
综合评分 78
高难度AI基础设施岗，技术前沿且业务价值高，但工作生活平衡需进一步确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
38K
比后端开发中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 920 个在招 · 其中后端开发 6 个
市场机会
选择面较广
上海 · 后端开发 · 约 190 个在招
职位详情
关于这个职位
该职位负责在万卡级异构算力之上，为米哈游的多模型协同AI NPC系统构建统一的AI推理网关
工作核心是设计和实现智能路由，将每个推理请求高效、稳定且低成本地调度到最合适的计算实例上，涵盖流量治理、缓存亲和、多模型编排和弹性伸缩等关键技术挑战
最低要求
本科及以上学历，计算机相关专业，5 年以上后端 / 网关研发经验，精通 Go 或 Python，具备高并发服务设计与调优的生产经验
深入理解 LLM 推理技术栈（vLLM / SGLang / TensorRT-LLM 等），了解 KV Cache、Continuous Batching、Prefix Cache 的机制与代价
具备智能路由与调度系统的落地经验：负载均衡、动态分流、请求亲和、限流熔断降级，能基于推理侧真实指标做路由决策
熟悉 Kubernetes 生态与网关 / 服务网格（Envoy、APISIX、Higress、Kong 等其一）
具备安全合规意识，有 API Key 鉴权、租户隔离、限流降级落地经验
工作职责
统一模型服务入口建设：OpenAI 兼容协议网关（/v1/chat/completions、SSE 流式、Function Calling、API 版本管理）、API Key 全生命周期管理与多租户鉴权、配额与计量
智能路由与流量治理：基于实时推理指标（并发数、排队长度、KV Cache 水位、TTFT/TPOT、前缀命中率）的动态路由，替代简单轮询与随机
Token 级限流、请求排队与超时控制、Fallback 降级链、跨云故障切换与重试
请求亲和调度：基于 Prefix Cache / 会话粘性的亲和路由，最大化缓存命中率、降低首 Token 延迟
多模型协同编排：一次交互串联多个模型时的级联调度与端到端 SLO 保障
弹性伸缩与 PD 分离：面向推理负载特征的 HPA/KPA、Scale-to-Zero 与冷启动优化
Prefill-Decode 分离架构下的实例编排与流量拆分
推理服务的内容安全与合规能力接入：输入注入防护、输出审核、PII 脱敏
优先资格
熟悉或参与过 llm-d、AIBrix、Envoy AI Gateway、NVIDIA Dynamo、vLLM production-stack、SGLang Router、KServe 等 LLM 推理路由 / 调度框架
有 PD 分离（Prefill-Decode Disaggregation）、Prefix Cache 亲和路由、Scale-to-Zero 的生产落地经验
有多云 / 多集群、异构卡型混合调度经验
有 Serverless 推理平台建设经验
AI 洞察
优缺点分析
优点
- 业务价值高：直接服务于AI NPC这一创新性核心业务，成果对用户体验和公司竞争力影响显著
- 平台规模大：在万卡级异构算力上进行架构设计，能积累处理极端复杂性和规模化的宝贵经验
- 技术复杂度高：需要同时精通网关、调度、LLM推理和云原生，知识面要求广且深
- 性能要求严苛：需要为游戏场景（如AI NPC）提供低延迟、高可用的实时服务，对系统稳定性要求极高
- 需持续学习：LLM推理技术和工具链迭代迅速，需要不断跟进和实践以保持技术先进性
缺点 / 挑战
- 技术前沿：直接参与解决LLM大规模落地的核心技术挑战，涉及路由、缓存、编排等深度优化
- 适合拥有扎实后端/网关背景，对AI推理底层原理有浓厚兴趣，渴望挑战高并发、高复杂度系统架构问题，并追求技术深度的高级工程师
角色解读
- 技术专家路线：深耕AI Infra领域，成为LLM Serving/推理优化方向的技术专家或架构师
- 架构师路线：向更通用的云原生、服务网格或分布式系统架构师方向发展，负责公司级技术平台建设
- 技术管理路线：带领小团队，负责AI推理平台或某个核心子系统的规划与交付
- 构建和维护面向多模型的统一AI推理入口（网关），确保高并发下的协议兼容与安全鉴权
- 设计并实现智能路由引擎，基于实时性能指标（如延迟、缓存命中率）动态调度流量，优化成本与体验
- 负责多模型协同场景下的请求编排与端到端SLA保障，并解决大规模异构算力下的弹性伸缩与容灾问题
- 具备深厚的Go/Python后端开发能力，拥有设计和优化高并发、低延迟网关服务的实战经验
- 深入理解LLM推理技术栈（如vLLM、SGLang）的原理与瓶颈，能基于此进行路由决策
- 精通云原生技术（Kubernetes、Envoy等），有负载均衡、限流熔断、服务网格的实际落地经验
- 具备系统架构设计思维，能够处理分布式系统中的复杂调度、缓存一致性和故障切换问题
申请策略
- 在简历或项目描述中，使用JD中的专业术语（如Prefix Cache、TTFT/TPOT、PD分离）来精准匹配岗位需求
- 准备一个关于“如何设计一个智能LLM路由系统”的思考框架或简单方案，面试时可主动探讨
- 了解米哈游的产品与AI NPC技术方向的公开信息，思考该岗位在其中的作用
- 重点突出参与设计和开发的高并发网关、API网关或类似流量调度系统的项目经验，说明性能数据与优化手段
- 详细描述与LLM/大模型推理服务相关的实践经验，如对推理框架的优化、性能分析或相关中间件开发
- 明确列出在Kubernetes、Envoy/APISIX等云原生组件上的深度使用与运维经验
- 强调在限流、熔断、降级、缓存亲和等分布式系统可靠性设计方面的具体实践和成果
- 系统学习并动手实践主流LLM推理框架（vLLM、SGLang），深入理解其调度与缓存机制
面试指南
- 对于系统设计问题，采用“背景-目标-架构设计-关键技术点-结果/复盘”的结构进行阐述
- 对于LLM技术深度问题，结合具体框架（如vLLM）的原理，说明指标如何收集、路由决策逻辑以及优化效果
- 对于复杂场景问题，强调“分解问题、定义SLO、核心机制（如级联/降级）、监控与恢复”的思路
- 请描述一个你设计的高并发网关或路由系统的核心架构，遇到的最大挑战及如何解决的？
- 如何基于LLM推理的实时指标（如KV Cache水位、TTFT）来设计一个智能路由策略？
- 在多模型协同（如对话+记忆检索+动作解析）场景下，如何保障端到端请求的SLA？
- 解释一下Prefix Cache亲和路由的原理及其对性能和成本的影响
- 如何在云原生环境中实现推理服务的Scale-to-Zero，并处理好冷启动问题？
职位点评
薪资福利75
成长发展90
工作生活65
使命价值80
薪资福利
75中等
该岗位为高级技术研发职位，虽然JD未明确薪资，但基于岗位复杂度、经验要求及上海市场水平，预计薪资具有竞争力，能满足物质回报预期。
薪资信号未披露（AI估算：30K-45K/月）
成长发展
90较高
岗位技术栈前沿，涉及LLM推理优化、云原生架构、智能调度等热门领域，能带来显著的技术成长和行业视野提升。
技术前沿前沿/新兴技术
技术栈Go、Python、LLM、vLLM、SGLang、Kubernetes、Envoy、PD分离、Prefix Cache
业务类型cost_center
工作生活
65中等
JD未明确提及工作模式与WLB相关信息，通常此类核心架构岗工作强度不低，办公灵活性未知。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
岗位服务于AI NPC这一创新性游戏体验，将前沿AI技术落地到亿级用户的产品中，具有较高的技术实现价值和一定的社会影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs