腾讯
AI Infra系统研发工程师-成都/上海
AI Infra系统研发工程师-成都/上海
发布于 43 分钟前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Kv Cache
Llm推理
Sglang
Tensorrt-Llm
Vllm
分布式系统
性能优化
值不值得投
76综合评分
综合评分 76
顶尖大厂、前沿AI技术栈、高挑战性、WLB一般
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1920 个在招 · 其中AI算法 5 个
市场机会
选择不多
成都 · AI算法 · 7 个在招
职位详情
关于这个职位
负责腾讯大规模分布式KV Cache系统的架构设计与性能优化，主导异构算力平台下的传输效率提升及底层通信库优化
深入理解Transformer架构，对主流推理框架（如vLLM）进行内核级源码优化，并探索GPU机密计算等前沿安全方案，保障高并发、超低延迟的在线推理服务
最低要求
计算机、人工智能、软件工程等相关专业硕士及以上学历
具备5年以上 AI 系统、高性能计算或底层系统开发经验
具备大规模、生产级大语言模型（LLM）在线推理系统从零到一的架构设计与优化实战经验
精通 C++/Python，具备深厚的系统编程功底，对并行计算、内存管理和性能调优有深入的系统性理解
深入理解 Transformer 架构，具备 SGLang，vLLM, TensorRT-LLM, LightLLM 等主流推理框架的内核级/源码级深度优化经验
对 KV Cache、低比特量化、连续批处理等核心技术有架构决策能力
具备设计和主导实现高并发、超低延迟分布式服务系统的能力
熟悉 Docker/Kubernetes 等云原生部署运维技术
工作职责
大规模分布式kvcache系统建设： 主导并规划分布式kcache系统建设，保障kvcache命中率处于业界领先水平，kvcache调度灵活性和弹性扩缩容
异构算力各个厂商硬件卡平台的H2D D2H kvcache传输性能优化，减少kvcache损耗，优化推理框架在高kvcache命中率下的性能
优化推理方面底层通信库性能优化，包括kvcache传输效率，卡间通信效率
跨机房PD通信性能优化，探索PD异构在不同机房的解决方案
GPU机密计算等前沿方向的调研和落地，推理安全安全方面的方案设计和落地工作
优先资格
加分项：熟悉操作系统底层核心技术，熟悉主流GPU、CPU、互联总线等硬件架构，理解软件系统底层运行原理
AI 洞察
优缺点分析
优点
- 接触业界最前沿的大模型推理技术栈，拥有海量数据和顶级算力资源支持，技术成长空间巨大
- 适合热衷于底层系统优化、对AI基础设施有浓厚兴趣且具备深厚工程功底的高级技术人员
缺点 / 挑战
- 技术要求极高，需深入底层源码优化，工作压力大，需应对高并发和低延迟的严苛指标
角色解读
- 可向AI基础设施架构师、首席系统工程师方向发展，或在AI大模型底层优化领域成为行业专家
- 负责构建和优化大规模分布式KV Cache系统，确保LLM推理的高命中率和弹性伸缩
- 精通C++/Python，深入理解Transformer架构及主流推理框架（vLLM等）源码，具备高性能计算和底层系统优化能力
申请策略
- 准备详细的项目案例，重点阐述如何解决高并发下的性能瓶颈和系统稳定性问题
- 突出LLM推理系统架构设计经验，强调在vLLM等框架中的源码级优化成果，展示性能提升的具体数据
- 深入研究CUDA编程、GPU硬件架构及分布式通信协议，提升对底层系统性能的掌控力
面试指南
- 使用STAR法则（情境、任务、行动、结果）描述项目经历，重点突出技术选型的理由、遇到的具体困难及解决方案，以及最终量化的性能提升指标
- 请详细描述你优化过的最大规模的分布式系统及其性能瓶颈
- 如何设计一个高效的KV Cache管理系统以支持动态扩缩容？
- 对比不同推理框架（如vLLM vs TGI）的优缺点，你会如何选择？
- 在异构算力环境下，如何优化H2D/D2H数据传输性能？
- 复习操作系统底层原理、计算机网络及分布式系统理论，熟悉最新的大模型推理优化论文和技术博客
职位点评
薪资福利85
成长发展95
工作生活40
使命价值70
薪资福利
85较高
作为已上市的巨头企业，提供具有市场竞争力的薪酬和完善的福利体系，满足补偿性动机。
薪资信号未披露（AI估算：4.0千–7.0万/月）
成长发展
95较高
职位涉及AI Infra前沿技术，提供极高的技术挑战和成长空间，满足发展性动机。
技术前沿前沿/新兴技术
技术栈LLM、KV Cache、vLLM、SGLang、TensorRT-LLM、GPU、Kubernetes
业务类型profit_center
工作生活
40较低
高强度技术研发岗位，通常伴随较大工作压力，WLB相对一般。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
70中等
推动AI技术进步，提升推理效率，具有一定的行业意义和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
腾讯 的其他在招职位
相似职位推荐
智能分析AI工程师
美团 · 北京市
AI 估算 · 3.0–6.0万1 小时前发布
AI Agent 研发工程师
美团 · 成都市
AI 估算 · 3.0–6.0万1 小时前发布
服体大模型-资深开发工程师
美团 · 北京市
AI 估算 · 3.5–6.0万1 小时前发布
供应链AI算法工程师
京东 · 北京市
AI 估算 · 4.0–8.0万1 小时前发布
供应链AI算法工程师
京东 · 北京市
AI 估算 · 4.0–7.0万1 小时前发布
软件开发
京东 · 广州市
AI 估算 · 4.0–7.0万1 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 2.0–3.5万1 小时前发布
IT Intern - 数字员工平台应用工程师
康明斯 · 北京市
AI 估算 · 4.3–6.5千2 小时前发布
Watch Jobs