腾讯
大模型推理框架研发工程师-上海/北京/深圳/杭州
大模型推理框架研发工程师-上海/北京/深圳/杭州
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Gpu
Gpu Rdma
Nvlink
Sglang
Tensorrt-Llm
Vllm
分布式推理
值不值得投
80综合评分
综合评分 80
腾讯大模型核心研发岗，技术前沿且成长空间大，薪资竞争力强，但WLB未明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2020 个在招 · 其中机器学习工程 39 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 360 个在招
职位详情
关于这个职位
该职位主要负责大模型推理引擎及PD分离调度系统的研发与优化，致力于提升大规模分布式推理系统的整体效率
你需要支持主流GPU和异构AI芯片，通过底层性能调优打造极致的性能与成本优势
最低要求
熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力
熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm等，具备语言、多模态模型大规模部署和优化经验
工作职责
研发及优化大模型推理引擎、PD分离推理调度系统，提升大规模分布式推理系统的整体效率
支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势
优先资格
熟悉并行策略，如数据并行、流水线并行等，熟悉NVLINK、GPU RDMA通信者优先
熟悉各类深度学习网络和算子底层实现细节，有实操经验优先
熟悉主流开源模型及其架构特点，具备针对不同模型进行分析优化的能力优先
具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先
AI 洞察
优缺点分析
优点
- 处于AI大模型爆发的核心赛道，能接触最前沿的推理框架和异构芯片，技术壁垒极高
- 依托海量业务场景和算力资源，能积累千万级参数模型的大规模分布式系统实战经验
- 平台提供极具竞争力的薪酬福利和完善的工程师文化，有利于长期职业发展
- 大模型技术迭代极快，需要持续学习跟进最新的框架特性、芯片架构和论文成果
- 底层性能优化难度大，涉及复杂的显存管理、通信重叠和算子融合，对计算机体系结构功底要求极高
- 适合对AI底层系统、高性能计算有浓厚兴趣，且具备扎实C/C++功底和系统调优经验的技术极客
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向大模型系统架构师、AI基础设施技术专家方向发展，成为底层系统领域的顶尖技术人才
- 随着经验积累，可晋升为AI基础架构团队的技术负责人，主导下一代推理引擎的演进
- 研发和优化大模型推理引擎及PD分离调度系统，解决大规模分布式推理中的效率瓶颈
- 适配并优化主流GPU和异构AI芯片，通过底层算子和系统级调优打造极致的性能与成本优势
- 精通C/C++和Python，具备扎实的工程实现与系统调试能力
- 深入理解vLLM、SGLang等主流推理框架，熟悉数据并行、流水线并行等分布式策略
- 掌握GPU体系结构及底层通信机制（如NVLINK、RDMA），具备算子级性能调优经验
申请策略
- 了解腾讯混元大模型的业务背景及在内部业务中的落地场景，准备相关的系统架构设计思路
- 在面试中展现出对技术细节的极致追求和解决复杂系统问题的架构思维
- 突出在vLLM/SGLang等推理框架上的二次开发或深度优化经验，展示具体的吞吐量/延迟提升数据
- 详细描写在GPU算子优化、分布式并行（如TP/PP）或显存管理（如PagedAttention）方面的实战案例
- 强调对主流开源模型架构的理解，以及针对不同模型特性进行定制化优化的能力
- 深入学习CUDA编程及GPU体系结构，掌握最新的FlashAttention等加速算法原理
- 研究PD分离架构（Prefill-Decode Disaggregation）的最新学术进展和工业界落地方案
面试指南
- 采用STAR法则：情境（模型规模/硬件环境）-> 任务（性能瓶颈/优化目标）-> 行动（具体使用的并行策略/算子优化/显存管理技术）-> 结果（吞吐量提升/延迟降低的具体数据）
- 请详细介绍你在vLLM或SGLang等推理框架中做过的最深度的优化，性能提升了多少？
- 在PD分离架构中，如何解决Prefill和Decode阶段的资源竞争和调度问题？
- 针对多模态大模型，在推理部署时与纯文本模型相比有哪些特殊的优化点？
- 请解释NVLINK和GPU RDMA在分布式推理中的作用及通信优化策略
- 当遇到推理延迟抖动时，你的排查思路和系统级调优手段有哪些？
- 复习CUDA编程基础、Transformer底层实现细节及主流并行策略（TP/PP/DP）的数学原理与工程实现
- 阅读腾讯混元大模型的最新技术报告，了解其在推理加速方面的官方技术方案
职位点评
薪资福利85
成长发展95
工作生活50
使命价值85
薪资福利
85较高
腾讯作为头部互联网企业，大模型核心研发岗薪资极具竞争力，且福利体系完善，能很好地满足物质与稳定性需求。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
95较高
处于AI大模型爆发的核心赛道，能接触最前沿的推理框架和异构芯片，技术成长空间巨大，是技术极客的理想平台。
技术前沿前沿/新兴技术
技术栈C/C++、Python、vllm、sglang、tensorrt-llm、GPU、NVLINK、RDMA、深度学习
业务类型cost_center
工作生活
50较低
JD未提及工作模式和WLB信息，互联网大厂核心研发岗通常工作节奏较快，生活化动机满足程度有限。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
85较高
参与大模型底层基础设施建设，推动AI技术落地，具有较高的行业影响力和技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs