腾讯
腾讯云-MaaS平台推理流量调度高级工程师(北/杭/深)
腾讯云-MaaS平台推理流量调度高级工程师(北/杭/深)
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公后端开发
后端开发
Kv Cache
Llm推理优化
分布式系统
微服务治理
性能调优
流量调度
负载均衡
高并发
值不值得投
80综合评分
综合评分 80
前沿AI调度技术、大厂高薪平台、技术成长快，工作强度中等偏上。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.3万
比后端开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2180 个在招 · 其中后端开发 59 个
市场机会
选择面较广
深圳 · 后端开发 · 约 140 个在招
职位详情
关于这个职位
负责腾讯云MaaS平台的推理流量调度与优化，设计跨地域集群的流量分发策略与租户级流控机制
通过建设弹性编排能力与链路性能调优，提升GPU利用率、服务稳定性及推理吞吐，降低首Token时延
最低要求
本科及以上学历，计算机、软件工程或相关专业优先
具备扎实的后端研发与分布式系统基础，熟悉高并发、负载均衡、服务治理及高可用架构，有大规模分布式系统、流量调度或LLM推理优化经验者优先
深入理解主流LLM推理引擎架构及请求执行流程，熟悉Prefill/Decode、连续批处理、KV Cache、前缀缓存等机制，有推理引擎调优、调度或二次开发经验者优先
具备扎实的编程能力与网络基础，理解TCP/IP、HTTP、连接复用及流式传输机制，熟悉Golang并有高并发服务开发经验者优先
具有较强的主动性、责任心和跨团队协作能力
工作职责
负责推理流量的全地域、跨集群调度与分发，结合模型特性、实时负载、算力容量及地域约束设计调度策略，提高GPU有效利用率和负载均衡能力
建设租户级流控与配额管理体系，完善并发及Token级限流、优先级排队、熔断降级和过载保护机制，保障服务稳定性、资源公平性和租户隔离
建设潮汐调度、HPA等弹性编排能力，结合流量预测、排队情况与推理负载，完善动态扩缩容、模型预热、请求排空及跨资源池容量调配，平衡资源成本与服务质量
开展推理链路性能调优，建设缓存感知路由，协同优化前缀缓存复用、请求排队与批处理，提升缓存命中率和吞吐，降低首Token时延、Token间时延及尾延迟
AI 洞察
优缺点分析
优点
- 依托腾讯云头部平台，直接接触前沿LLM推理优化场景，技术栈极具市场竞争力
- 内部技术氛围浓厚，代码质量与架构规范要求高，有利于沉淀高质量工程资产
- 大模型推理调度属于高难度领域，需兼顾极致性能与成本控制，线上故障影响面广
- 跨地域多集群协调复杂度高，对系统稳定性与容灾设计的要求极其严苛
- 具备扎实后端功底且对AI基础设施感兴趣，追求技术深度与高并发实战经验的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 向AI基础设施架构师或技术专家方向发展，可深耕大模型底层调度算法与云原生弹性计算
- 积累平台级架构经验后，可横向拓展至AI平台产品管理或技术团队负责人角色
- 设计并实现大模型推理流量的跨集群调度策略，构建租户级流控与弹性扩缩容体系，保障高并发下的服务稳定性与资源利用率
- 持续优化推理链路性能，协同调整前缀缓存复用、请求排队与批处理策略，显著降低首Token时延与尾延迟
- 精通Golang与分布式系统设计，深入掌握LLM推理引擎核心机制如KV Cache与前缀缓存
- 具备高并发网关/负载均衡开发经验，熟悉K8s弹性编排与微服务治理体系
申请策略
- 关注腾讯云AI产品线动态，提前准备针对流量调度与缓存优化的系统设计题案例
- 突出大规模分布式系统设计与高并发服务开发经验，量化GPU利用率提升、时延降低或吞吐量增长的具体指标
- 详细列举主导的流量治理、弹性扩缩容或缓存优化项目，体现架构权衡与落地能力
- 补充LLM推理框架原理知识，学习Kubernetes高级调度与弹性伸缩实践
- 强化网络协议与流式传输调试能力，掌握主流压测工具与链路追踪技术
面试指南
- 采用STAR法则阐述过往高并发项目背景，清晰界定问题边界与约束条件
- 结合理论机制与工程实践说明技术选型与权衡取舍，展示系统性排查与压测调优思路
- 如何设计支持千万级QPS的LLM推理流量调度系统？
- KV Cache与前缀缓存在实际工程中如何落地与失效处理？
- 面对突发流量洪峰，如何实现平滑降级与过载保护？
- 复习分布式一致性协议与负载均衡算法，梳理个人主导的性能优化项目数据
- 了解主流LLM Serving框架架构，准备实际调优案例的复盘材料
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
腾讯作为头部互联网企业，提供具有市场竞争力的薪酬福利与完善的社会保障，整体补偿性动机满足度较高。
薪资信号偏高 (4.0千–6.5万/月)
成长发展
90较高
岗位聚焦MaaS平台与LLM推理调度，技术栈前沿且业务处于快速迭代期，提供深度的技术成长空间与清晰的专家晋升路径。
技术前沿前沿/新兴技术
技术栈Golang、LLM推理、KV Cache、前缀缓存、HPA、分布式系统
业务类型profit_center
工作生活
60中等
互联网技术团队常规节奏，虽未明确标注弹性工作制，但研发岗位通常有一定自主性；项目攻坚期可能面临一定工作强度。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
致力于推动大模型普惠化与高效推理，技术成果直接赋能千行百业AI应用落地，具备较强的行业使命感与社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs