CATL logo
宁德时代
推理平台研发工程师

推理平台研发工程师

发布于 1 小时前

普通员工/个人贡献者

AI 估算 · 3.5–6.5万 · AI 参考估算
中级经验
本科
全职员工仅现场办公性能优化
性能优化
Cuda
Flashattention
Gpu性能优化
Kvcache
Sglang
Tensorrt-Llm
Vllm
大模型推理
算子开发

值不值得投

76综合评分

综合评分 76

前沿大模型推理平台岗位,技术成长强,办公与生活节奏信息未披露

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

5.0万

比性能优化中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 850 个在招

职位详情

关于这个职位

该职位聚焦大模型推理平台研发,负责推理引擎工程化、KVCache管理、算子优化与多硬件适配

你将围绕吞吐量、延迟、缓存命中率和故障自愈等指标,打造高性能、高可用的AI推理服务

最低要求

计算机科学、人工智能、电子工程等相关专业本科及以上学历,3年以上深度学习系统、推理引擎或高性能计算开发经验

精通C++和CUDA编程,深入理解GPU硬件架构(SM、Warp调度、内存层次、TensorCore)
深入理解Transformer架构的推理计算流程,熟悉vLLM、SGLang、TensorRT-LLM、TGI中至少一种框架的原理与实现
掌握KVCache优化(PagedAttention/RadixAttention)、FlashAttention、量化推理(GPTQ/AWQ/SmoothQuant)等关键技术
熟悉深度学习框架(PyTorch/TensorFlow)底层原理,有Kernel开发能力
具备性能分析与优化能力(Nsight Systems/Nsight Compute/PyTorch Profiler)
能够借助AI辅助工具加速开发,快速掌握新硬件平台与新技术栈

工作职责

负责大模型推理引擎的工程化与性能优化,核心技术方向包括:PD分离架构、多级KVCache缓存、投机解码、MTP加速

设计并实现分层KVCache管理系统,研发智能淘汰策略与预取机制,持续提升缓存命中率
开发高性能推理引擎,涵盖Continuous Batching、动态Batch Size调整、混合精度推理、多种并行策略
基于GPU/AI芯片,设计、开发和优化底层高性能算子库,针对大模型算法(Transformer、MoE等)进行算子级性能优化
针对不同硬件平台(NVIDIA GPU、华为昇腾NPU、国产加速卡)进行算子适配与性能调优,包括Attention算子、GEMM、通信原语等
建设推理服务的Benchmark体系,覆盖吞吐量、首Token延迟(TTFT)、生成延迟(TPOT)、MFU等核心指标
保障推理服务的高可用性,设计并实现秒级故障检测与自愈机制

优先资格

有PD分离、Disaggregated Serving架构的生产实战经验

向vLLM/SGLang/FlashAttention等开源项目贡献过代码
熟悉国产AI芯片(昇腾/摩尔线程)的推理适配与算子开发
有AI编译器开发经验
有Mooncake的使用经验
有RDMA/NVLink等高速互联场景下的分布式推理经验

AI 洞察

优缺点分析

优点

  • 技术方向聚焦大模型推理平台,涉及PD分离、KVCache、投机解码等前沿工程问题,技术积累价值高
  • 覆盖NVIDIA GPU、昇腾NPU和国产加速卡,有利于形成跨硬件性能优化能力
  • 岗位职责从引擎、算子、缓存到高可用机制较完整,能系统性理解推理服务全链路
  • 有Benchmark指标体系和生产可用性要求,适合希望做真实性能闭环的工程师
  • 技术栈门槛高,需要同时具备系统编程、GPU架构、深度学习框架和推理算法理解
  • 适合有深度学习系统、推理引擎、高性能计算或GPU算子开发经验,希望深入大模型基础设施和异构计算优化的工程师

缺点 / 挑战

  • 多硬件平台适配复杂,不同芯片的工具链、算子实现和性能瓶颈差异较大
  • 性能优化目标明确,吞吐量、TTFT、TPOT、MFU等指标压力较大,需要持续做细粒度分析和迭代

角色解读

  • 可向大模型推理系统专家方向发展,深耕推理引擎、缓存策略、调度系统和分布式推理优化
  • 可向AI芯片适配与异构计算专家发展,积累NVIDIA GPU、昇腾NPU和国产加速卡底层优化经验
  • 长期可成长为AI基础设施架构师,负责推理平台整体架构、性能体系和跨硬件平台能力建设
  • 负责大模型推理引擎的工程化和性能优化,围绕PD分离、投机解码、MTP加速等方向提升推理效率
  • 设计分层KVCache管理系统,研发缓存淘汰、预取机制,提升缓存命中率并降低延迟
  • 开发高性能推理能力,包括Continuous Batching、动态Batch Size、混合精度推理和多并行策略
  • 面向GPU、昇腾NPU和国产加速卡进行Attention、GEMM、通信原语等算子适配与性能调优
  • 需要精通C++、CUDA,并理解GPU硬件架构、内存层次、Warp调度和TensorCore等底层机制
  • 需要掌握Transformer推理流程,以及vLLM、SGLang、TensorRT-LLM、TGI等主流推理框架的实现原理
  • 需要具备KVCache优化、FlashAttention、量化推理和Kernel开发能力
  • 需要熟练使用Nsight Systems、Nsight Compute、PyTorch Profiler等工具进行性能分析和瓶颈定位

申请策略

  • 面试前建议梳理一个完整推理优化案例,包括问题背景、瓶颈定位、优化方案和最终指标收益
  • 关注公司AI基础设施、智能制造和大模型应用方向,准备说明自己的优化经验如何迁移到业务场景
  • 突出C++、CUDA、Kernel开发和GPU性能调优经历,最好量化说明吞吐、延迟或MFU提升结果
  • 展示对vLLM、SGLang、TensorRT-LLM、TGI等框架的源码理解或二次开发经验
  • 强调KVCache、PagedAttention、RadixAttention、FlashAttention、量化推理等相关项目经验
  • 如有开源贡献、国产AI芯片适配、RDMA/NVLink或AI编译器经历,应单独列出并说明具体贡献
  • 可补充学习PD分离、Disaggregated Serving、Mooncake等大模型推理架构与缓存方案
  • 加强Nsight Systems、Nsight Compute、PyTorch Profiler等性能分析工具的实际使用能力

面试指南

  • 性能优化类问题可按“指标目标—瓶颈定位—优化方案—验证结果—复盘沉淀”的结构回答
  • 技术原理类问题先讲清楚计算流程和内存访问特征,再说明工程实现中的取舍和适用条件
  • 故障排查类问题按“现象确认—指标拆解—工具分析—假设验证—回归验证”的路径展开
  • 请介绍一次你做过的推理引擎性能优化,瓶颈如何定位,最终提升了哪些指标?
  • KVCache为什么会影响大模型推理吞吐和延迟?PagedAttention和RadixAttention各解决什么问题?
  • Continuous Batching和动态Batch Size调整在工程实现中有哪些难点?
  • 如何针对Transformer或MoE模型优化Attention、GEMM等算子?
  • 如果推理服务出现TTFT升高或吞吐下降,你会如何用Profiler工具排查?

职位点评

薪资福利82
成长发展92
工作生活45
使命价值74

薪资福利

82较高

JD未披露薪资与福利信息,但岗位要求较高的底层系统和大模型推理优化能力,通常对应较强的技术薪酬定位。稳定性与福利信息未提及,无法进一步判断。

薪资信号未披露(AI估算:3.5千–6.5万/月)

成长发展

92较高

岗位覆盖大模型推理引擎、KVCache、算子优化、多硬件适配和Benchmark体系,技术深度与成长空间非常突出。JD还列出开源贡献、AI编译器、Mooncake、RDMA/NVLink等加分方向,适合持续深耕底层AI基础设施。

技术前沿前沿/新兴技术
技术栈大模型推理引擎、PD分离架构、多级KVCache缓存、投机解码、MTP加速、Continuous Batching、混合精度推理、CUDA、Transformer、MoE、Attention算子、GEMM、vLLM、SGLang、TensorRT-LLM、TGI、PagedAttention、RadixAttention、FlashAttention、GPTQ、AWQ、SmoothQuant、PyTorch、TensorFlow、Nsight Systems、Nsight Compute、PyTorch Profiler、Mooncake、RDMA、NVLink
业务类型ambiguous

工作生活

45较低

JD仅明确地点为厦门市,未提及远程、弹性办公、双休或加班情况,因此生活化动机满足程度无法充分判断。岗位涉及高可用保障和性能攻坚,但JD未直接说明工作强度。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

74中等

岗位处于大模型推理和国产AI芯片适配相关方向,技术前沿性较强,对提升AI基础设施效率有积极价值。JD未直接描述社会使命或行业价值导向,意义感主要来自技术本身。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs