腾讯
TIONE-高级推理研发工程师-上海/杭州/深圳/北京
TIONE-高级推理研发工程师-上海/杭州/深圳/北京
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Llm推理优化
Rdma
Tensorrt-Llm
Vllm
分布式系统
异构算力
算子优化
高性能计算
值不值得投
77综合评分
综合评分 77
大模型底层推理核心技术岗，技术前沿且成长空间极大，但工作强度较高且薪资福利细节未披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2040 个在招 · 其中算法优化工程师 13 个
市场机会
选择面较广
上海 · 算法优化工程师 · 约 190 个在招
职位详情
关于这个职位
该职位负责腾讯千亿参数级大模型的极致性能优化与推理引擎架构设计，涵盖低比特量化、多模态协同推理及异构算力适配等核心工作
你需要深入GPU/NPU硬件底层进行算子优化，并参与海外机房建设与硬件验收，是连接前沿AI算法与底层算力基础设施的关键技术角色
最低要求
计算机、人工智能、软件工程等相关专业硕士及以上学历
具备5年以上 AI 系统、高性能计算或底层系统开发经验
具备大规模、生产级大语言模型（LLM）在线推理系统从零到一的架构设计与优化实战经验
深入理解 Transformer 架构，具备 vLLM, TensorRT-LLM, LightLLM 等主流推理框架的内核级/源码级深度优化经验
对 KV Cache、低比特量化、连续批处理等核心技术有架构决策能力
熟悉 x86 服务器硬件体系与 GPU 服务器（HGX 系列 / A100、H800、L20 等）架构：拓扑、供电、PCIe / NVLink 互联、BMC / BIOS
熟悉数据中心网络：VLAN / BGP、Bonding、RDMA / RoCE 无损网络原理与调优，有专线开通或验收经验
工作职责
超大规模LLM性能工程：主导并规划千亿参数级大模型的极致性能优化技术路线
负责 vLLM/TensorRT-LLM 等主流推理框架的内核级优化与落地
低比特与稀疏模型优化：牵头 INT4/FP8/AWQ 等前沿低比特量化技术的工业级系统化落地，平衡精度与计算效率
并设计面向 MoE 模型的分布式调度、路由、显存管理及跨卡通信的优化方案
统一与多模态架构：定义并设计一套具备长期扩展性的统一 AI 推理引擎架构，以支撑自回归生成任务，并前瞻性地解决多模态大模型（如视觉-语言模型）的协同推理部署挑战
异构算力与适配：主导推理引擎在AI芯片（如昇腾、海光、天数等）平台上的战略级移植、生态适配与性能优化
对 HCCL/NCCL 等通信原语进行深度优化和定制，实现跨异构架构的算力自主可控
核心算子优化与指令架构创新：深度介入 GPU/NPU 硬件底层，主导设计和实现LLM特有高性能算子
负责海外机房建设进展跟踪及GPU、网络等相关验收
AI 洞察
优缺点分析
优点
- 处于AI大模型爆发的核心赛道，接触千亿参数级模型与最前沿的推理优化技术，技术壁垒极高
- 依托头部互联网公司的海量算力资源与真实业务场景，能够积累极具竞争力的超大规模系统实战经验
- 岗位涉及异构算力适配与底层硬件交互，有助于建立从软件到硬件的全栈AI系统视野
- 涉及海外机房建设与硬件验收，可能需要应对跨时区沟通、出差或处理复杂的底层硬件故障，工作节奏较快
- 适合对底层系统、高性能计算有浓厚兴趣，具备扎实C++/CUDA功底，且渴望在AI基础设施领域深耕的硬核技术极客
缺点 / 挑战
- 技术迭代极快，需要持续追踪最新的模型架构（如MoE）与硬件特性，学习压力与脑力消耗较大
角色解读
- 纵向可成长为AI基础设施领域的技术专家或首席科学家，主导下一代AI算力引擎的技术演进
- 横向可拓展至AI芯片设计协同、大模型算法研究或云计算底层架构负责人，成为连接算法与算力的复合型领军人才
- 负责千亿参数级大语言模型的推理引擎架构设计与极致性能优化，解决自回归生成与多模态协同推理的算力瓶颈
- 深入GPU/NPU硬件底层，进行核心算子开发、低比特量化落地及异构算力平台的生态适配与移植
- 参与海外数据中心机房建设跟进，负责GPU服务器与无损网络等硬件基础设施的验收与调优
- 精通大模型推理框架（如vLLM、TensorRT-LLM）的源码级优化，深入理解Transformer架构及KV Cache、连续批处理等核心技术
- 具备扎实的底层系统开发能力，熟悉x86/GPU服务器硬件架构（PCIe/NVLink等）及RDMA/RoCE无损网络原理
- 拥有大规模分布式系统设计与异构算力（昇腾、海光等）适配的实战经验，能独立完成从0到1的架构设计
申请策略
- 投递时可根据自身优势选择最匹配的城市，并在简历中明确标注对特定技术栈（如算子优化或网络调优）的偏好
- 重点突出在vLLM/TensorRT-LLM等框架的源码级修改经验，以及具体的性能提升指标（如吞吐量提升百分比、延迟降低数据）
- 详细列举参与过的千亿/百亿参数模型推理系统从0到1的架构设计过程，强调解决过的核心技术难点（如显存优化、跨卡通信）
- 展示在异构算力（如昇腾、海光）或底层硬件（GPU拓扑、RDMA网络）方面的适配与调优项目经验
- 深入研读最新的低比特量化（如AWQ、FP8）和MoE模型分布式调度相关论文与开源代码，保持技术敏锐度
- 补充数据中心网络（RDMA/RoCE）和服务器硬件底层（BMC/BIOS/PCIe）的实操知识，弥补纯软件背景的短板
面试指南
- STAR法则结合数据支撑：在描述优化经验时，务必遵循情境-任务-行动-结果框架，并给出具体的性能提升数据（如Tokens/s提升比例）
- 软硬协同视角：回答底层问题时，展现从软件算法到硬件架构（如NVLink带宽、PCIe延迟）的全链路思考能力
- 请详细描述你在vLLM或TensorRT-LLM中做过的最深度的内核级优化，具体解决了什么瓶颈？
- 在千亿参数模型推理中，你是如何设计KV Cache管理和显存分配策略的？
- 针对MoE模型，分布式调度与路由优化的核心难点是什么？你是如何解决的？
- 在异构算力（如昇腾）移植过程中，遇到过哪些算子或通信原语（HCCL/NCCL）的兼容性问题？如何排查解决？
- 请谈谈RDMA/RoCE无损网络在大模型分布式训练/推理中的调优经验
- 复习并准备自己简历中每一个大模型推理优化项目的技术细节，确保能应对源码级的深度追问
职位点评
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
岗位属于大模型底层核心技术方向，技术壁垒高，一线城市高级研发薪资具备较强市场竞争力，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：4千–7万/月）
成长发展
95较高
接触千亿参数大模型、异构算力、底层算子等最前沿技术，技术成长空间极大，处于AI时代的核心技术风口。
技术前沿前沿/新兴技术
技术栈LLM推理优化、vLLM、TensorRT-LLM、INT4/FP8/AWQ、MoE、CUDA、RDMA/RoCE、HCCL/NCCL
业务类型ambiguous
工作生活
40较低
岗位涉及海外机房建设跟踪与底层硬件验收，且为高级核心研发，工作强度与压力预计较大，JD未提及任何WLB或弹性办公信息。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于实现跨异构架构的算力自主可控，推动大模型技术的工业级落地，具有较高的技术使命感与行业推动价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号算力自主可控、生态共创者
创新程度开拓性创新（行业首创）
Watch Jobs