腾讯
腾讯专有云-大模型推理优化工程师-深圳/北京
腾讯专有云-大模型推理优化工程师-深圳/北京
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Kv Cache
Tensorrt-Llm
Vllm
大模型推理
张量并行
高性能计算
值不值得投
80综合评分
综合评分 80
前沿大模型推理优化岗，技术栈硬核、成长空间大，适合追求技术深度的开发者。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1960 个在招 · 其中算法优化工程师 8 个
市场机会
选择面较广
深圳 · 算法优化工程师 · 75 个在招
职位详情
关于这个职位
该职位主要负责腾讯专有云MaaS平台的大模型推理侧架构设计与性能优化，提升吞吐、并发等关键指标
你需要适配主流开源大模型及AI加速卡，设计可复用的推理加速方案，并建设性能基线体系
最低要求
本科及以上学历，计算机、软件、电子、数学等相关专业，3 年及以上大模型推理 / 高性能计算 / 推理引擎相关工作经验
深入使用过至少一款主流推理框架（vLLM / SGLang / TensorRT-LLM / MindIE / lmdeploy / TGI 等），参与过基于上述引擎的大模型推理系统定制化开发与性能调优
熟悉大模型推理关键技术：Attention 变体、KV Cache、Continuous Batching、量化、投机采样、张量并行 / 流水并行等
熟练掌握 Python 与 C++ / CUDA 中的至少两项，具备真实可量化的性能优化案例（吞吐、时延、显存等指标有明确提升数据）
具备良好的工程能力与问题定位能力，能独立承担推理加速方向的技术攻坚
工作职责
参与私有云MaaS 平台推理侧架构设计（调度、路由、多实例、多卡多机部署），支撑私有化项目 POC、压测、问题定位与交付
负责私有云场景下的大模型推理引擎优化，持续提升吞吐、并发、TTFT / TPOT、显存利用率等关键性能指标
负责主流开源大模型在私有云MaaS 平台上的推理适配、精度对齐与性能达标
负责AI 加速卡的推理适配与深度优化，打通异构硬件后端与上层推理框架的对接
针对私有化场景下客户「模型 × 硬件」组合众多、差异大的特点，设计并落地可复用的推理加速方案
建设推理性能基线与回归体系，沉淀卡适配方法论与最佳实践
AI 洞察
优缺点分析
优点
- 身处大模型与AI基础设施核心赛道，技术栈前沿，能积累极具市场竞争力的高性能计算与推理优化经验
- 作为专有云MaaS平台的核心研发，成果直接赋能政企客户，业务价值与影响力显著
- 大模型推理优化涉及底层硬件与复杂算法，技术门槛高，需要持续跟进快速迭代的开源框架与新型加速卡
- 适合具备扎实C++/CUDA基础，对大模型底层推理机制有深入研究，且渴望在AI基础设施领域深耕的硬核技术人才
缺点 / 挑战
- 依托庞大的业务场景与算力资源，能够接触到海量并发与复杂的异构硬件适配挑战，技术成长空间巨大
- 私有化场景下客户「模型×硬件」组合繁多，适配与问题定位工作量大，对工程能力与抗压能力要求较高
角色解读
- 在技术深度上，可成长为大模型推理与高性能计算领域的资深技术专家，主导底层引擎架构演进
- 在业务广度上，可向AI基础设施架构师或MaaS平台技术负责人方向发展，统筹整体AI算力与推理生态
- 负责腾讯专有云MaaS平台的大模型推理侧架构设计，包括调度、路由及多卡多机部署等
- 优化大模型推理引擎，提升吞吐量、并发能力及显存利用率等核心性能指标
- 适配主流开源大模型与各类AI加速卡，打通异构硬件后端与上层推理框架，设计可复用的推理加速方案
- 精通至少一款主流大模型推理框架（如vLLM、TensorRT-LLM等），并具备定制化开发与调优经验
- 深入理解大模型推理核心技术，如KV Cache、Continuous Batching、量化及张量/流水并行等
- 熟练掌握Python与C++/CUDA，具备真实可量化的性能优化案例与扎实的工程问题定位能力
申请策略
- 了解腾讯专有云及MaaS平台的业务定位，思考私有化部署场景下客户对推理性能与成本的核心诉求
- 重点突出在vLLM、TensorRT-LLM等主流推理框架上的深度使用经验及定制化开发成果
- 详细列举真实可量化的性能优化案例，明确写出吞吐、时延、显存利用率等指标的具体提升数据
- 展示在异构硬件（如各类AI加速卡）适配与底层CUDA优化方面的实战经验
- 提前熟悉并动手实践最新的开源大模型推理框架（如SGLang、vLLM最新版本），了解其底层调度与显存管理机制
- 深入学习张量并行、流水并行及Continuous Batching等分布式推理核心技术原理
面试指南
- STAR法则：针对优化案例，清晰阐述背景（性能瓶颈）、任务（优化目标）、行动（具体技术手段如量化、算子融合等）、结果（量化指标提升）
- 原理+实践：回答技术原理时，先阐述底层机制（如PagedAttention），再结合自己实际调优中的参数配置或代码修改进行说明
- 请详细描述一个你主导的大模型推理性能优化案例，具体使用了哪些技术，最终指标提升了多少？
- 在vLLM或TensorRT-LLM中，KV Cache的管理机制是怎样的？如果遇到显存碎片化问题，你会如何优化？
- 针对多卡多机部署场景，张量并行和流水并行分别适用于什么情况？如何设计路由和调度策略？
- 在适配不同AI加速卡时，遇到过哪些底层算子不支持或性能不佳的问题？你是如何解决的？
- 复习大模型推理的核心论文与开源框架源码，特别是显存管理、Batching策略及分布式并行机制
- 准备1-2个自己亲手解决的疑难Bug或性能瓶颈案例，梳理清楚排查思路与最终解决方案
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
大模型推理优化属于当前市场高薪稀缺岗位，一线城市同类技术岗薪酬竞争力强，且该岗位对性能优化有明确量化要求，技术溢价明显。
薪资信号未披露（AI估算：3.5千–6万/月）
成长发展
90较高
岗位聚焦大模型推理引擎优化与异构硬件适配，技术栈极具前沿性，能深度参与AI基础设施核心架构演进。
技术前沿前沿/新兴技术
技术栈vLLM、TensorRT-LLM、CUDA、C++、KV Cache、Continuous Batching、张量并行、流水并行
业务类型profit_center
工作生活
60中等
JD未明确提及工作模式与加班情况，但大模型底层优化与私有化项目交付通常面临较高的技术攻坚压力与交付节点要求。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
大模型推理优化是AI落地的关键基础设施，推动大模型在私有云场景的高效应用，具有较高的技术使命感与行业价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs