腾讯
边缘AI推理研发工程师（深圳）
边缘AI推理研发工程师（深圳）
发布于 大约 14 小时前普通员工/个人贡献者
深圳市
高级经验
全职员工
仅现场办公
学历未注明
软件工程
GPU
边缘计算
TPU
LLM
Serverless
AI推理
SGLang
vLLM
TensorRT-LLM
AI 估算 · 35k–60k
高级AI推理岗位，技术门槛高，腾讯大厂薪资竞争力强，通常16薪。
职位详情
关于这个职位
该职位负责打造极致低延迟的边缘AI推理系统，包括推理系统优化和KVCache缓存系统设计
你将参与腾讯边缘云Serverless AI推理平台的开发，深度优化端到端推理延迟，提升实时语音交互等低延迟AI应用的用户体验
适合有AI推理大规模落地经验，熟悉LLM和GPU/TPU架构的工程师
最低要求
推理方向：
有AI推理在工业上大规模落地的经验，熟悉LLM的模型架构和常用的推理加速方法
熟悉GPU/TPU架构，并且能根据硬件架构合理设计上层算力调度、推理加速等相关软件栈，充分发挥硬件算力
熟悉sglang、vLLM、TensorRT-LLM等常用推理框架，理解框架的设计和推理加速方法，了解异构芯片的适配过程
缓存方向：
有KVCache优化或AI推理在工业上大规模落地的经验，熟悉LLM的模型架构和常用的推理加速方法，理解KVCache机制对推理性能的影响
熟悉SGLang、vLLM、TensorRT-LLM等常用推理框架，理解框架的KVCache设计和推理加速方法
熟悉低延迟硬盘IO优化和网络传输优化，包括但不限于Linux异步IO框架、RDMA高性能网络传输协议等
工作职责
推理方向：
面向低延迟交互场景打造极致低延迟推理系统，通过调度、传输、计算优化，深度优化端到端推理延迟
设计开发一站式 Serverless AI 推理平台，结合边缘云 Serverless 生态支持一站式边缘 AI 应用，提升实时语音交互等低延迟 AI 应用场景的用户体验
缓存方向：
面向低延迟交互场景打造 KVCache 缓存系统，通过 KVCache 卸载、传输、压缩优化，深度优化端到端推理延迟，提升实时语音交互等低延迟 AI 应用场景的用户体验
设计开发边缘推理 KVCache 平台，结合边缘云 Serverless 生态支持一站式边缘 AI 应用，通过 KVCache 复用、分层存储、跨请求共享等技术提升推理性能
AI 洞察
优缺点分析
优点
- 腾讯大厂平台，资源丰富，项目影响力大，技术前沿
- 边缘AI推理是当前热门方向，技术深度高，积累经验含金量高
- 薪资和福利在行业内具有很强竞争力，16薪加股票期权
- 工作强度可能较大，涉及低延迟优化需要持续迭代和快速响应
- 技术门槛高，需要同时掌握GPU、推理框架、网络优化等多领域知识
- 方向细分度高，可能限制未来向其他领域转换的灵活性
- 适合热爱底层性能优化、对AI推理有浓厚兴趣、能承受高强度工作的资深工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 向AI推理系统架构师方向发展，成为端到端推理优化专家
- 向边缘计算或云原生AI平台方向深入，成为Serverless AI专家
- 有机会向技术管理方向转型，带领团队打造下一代AI基础设施
- 优化端到端推理延迟，通过调度、传输、计算优化打造低延迟推理系统
- 设计开发一站式Serverless AI推理平台，结合边缘云生态提升AI应用体验
- 打造KVCache缓存系统，通过卸载、传输、压缩优化，提升推理性能
- 实现KVCache复用、分层存储、跨请求共享等技术，推动边缘AI应用落地
- 精通LLM模型架构和推理加速方法，有工业大规模落地经验
- 熟悉GPU/TPU架构，能根据硬件设计算力调度和推理加速软件栈
- 掌握vLLM、SGLang、TensorRT-LLM等主流推理框架，理解其设计原理
- 了解KVCache机制，具备低延迟IO和网络传输优化能力（RDMA、异步IO等）
申请策略
- 关注腾讯边缘云和AI推理的最新动态，在面试中展示对业务的理解
- 准备一个端到端推理延迟优化的完整案例，包括问题分析、方案设计和效果量化
- 突出AI推理大规模落地的项目经验，包括使用的框架和优化效果
- 强调对GPU/TPU架构的理解和实际算力调度优化案例
- 展示在低延迟系统方面的成果，如延迟降低百分比或吞吐量提升
- 如有KVCache优化或边缘计算经验，务必详细描述
- 深入学习vLLM、SGLang等框架的源码，理解推理优化细节
- 补充KVCache相关知识，包括压缩、卸载、复用等前沿技术
面试指南
- STAR法则：情境、任务、行动、结果，突出量化指标
- 先解释技术原理，再结合具体实践，最后总结收益和教训
- 对于系统设计问题，从需求分析、架构设计、关键技术选型、性能评估等维度展开
- 请详细描述你过去参与的一个AI推理优化项目，包括面临的挑战和解决方案
- 解释LLM推理中的KVCache机制，以及你如何优化它？
- vLLM和TensorRT-LLM的推理加速原理有什么异同？
- 如何设计一个低延迟的边缘推理系统？考虑网络延迟和计算资源
- 描述你在GPU编程方面的经验，如CUDA或Triton
职位点评
78
综合评分
腾讯高级边缘AI推理岗，前沿技术栈，高薪酬高成长，但工作强度大。
更适合这类人
适合高度追求技术成长和薪资回报、愿意在高强度环境中快速提升的资深工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利90
成长发展95
工作生活50
使命价值75
薪资福利
90较高
腾讯作为顶级互联网大厂，薪资待遇处于行业前列，福利完善（五险一金、股票期权等），但JD未明确披露具体薪资。
薪资信号未披露（AI估算：35K-60K/月）
成长发展
95较高
该岗位聚焦前沿的边缘AI推理技术，涉及LLM、KVCache、Serverless等热门方向，技术挑战大，成长空间广阔。
技术前沿前沿/新兴技术
技术栈AI推理、LLM、GPU、TPU、vLLM、SGLang、TensorRT-LLM、KVCache、Serverless
业务类型profit_center
工作生活
50较低
腾讯通常要求现场办公，且该岗位涉及低延迟优化，可能要求较高的工作投入和响应速度，工作生活平衡一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
75中等
腾讯在AI领域的布局影响广泛，边缘AI推理能提升实时交互体验，社会价值较高，但JD未明确体现使命导向。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs