
宁德时代
推理平台研发工程师
推理平台研发工程师
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公性能优化
性能优化
Cuda
Flashattention
Gpu性能优化
Kvcache
Sglang
Tensorrt-Llm
Vllm
大模型推理
算子开发
值不值得投
76综合评分
综合评分 76
前沿大模型推理平台岗位,技术成长强,办公与生活节奏信息未披露
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
5.0万
比性能优化中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 850 个在招
职位详情
关于这个职位
该职位聚焦大模型推理平台研发,负责推理引擎工程化、KVCache管理、算子优化与多硬件适配
你将围绕吞吐量、延迟、缓存命中率和故障自愈等指标,打造高性能、高可用的AI推理服务
最低要求
计算机科学、人工智能、电子工程等相关专业本科及以上学历,3年以上深度学习系统、推理引擎或高性能计算开发经验
精通C++和CUDA编程,深入理解GPU硬件架构(SM、Warp调度、内存层次、TensorCore)
深入理解Transformer架构的推理计算流程,熟悉vLLM、SGLang、TensorRT-LLM、TGI中至少一种框架的原理与实现
掌握KVCache优化(PagedAttention/RadixAttention)、FlashAttention、量化推理(GPTQ/AWQ/SmoothQuant)等关键技术
熟悉深度学习框架(PyTorch/TensorFlow)底层原理,有Kernel开发能力
具备性能分析与优化能力(Nsight Systems/Nsight Compute/PyTorch Profiler)
能够借助AI辅助工具加速开发,快速掌握新硬件平台与新技术栈
工作职责
负责大模型推理引擎的工程化与性能优化,核心技术方向包括:PD分离架构、多级KVCache缓存、投机解码、MTP加速
设计并实现分层KVCache管理系统,研发智能淘汰策略与预取机制,持续提升缓存命中率
开发高性能推理引擎,涵盖Continuous Batching、动态Batch Size调整、混合精度推理、多种并行策略
基于GPU/AI芯片,设计、开发和优化底层高性能算子库,针对大模型算法(Transformer、MoE等)进行算子级性能优化
针对不同硬件平台(NVIDIA GPU、华为昇腾NPU、国产加速卡)进行算子适配与性能调优,包括Attention算子、GEMM、通信原语等
建设推理服务的Benchmark体系,覆盖吞吐量、首Token延迟(TTFT)、生成延迟(TPOT)、MFU等核心指标
保障推理服务的高可用性,设计并实现秒级故障检测与自愈机制
优先资格
有PD分离、Disaggregated Serving架构的生产实战经验
向vLLM/SGLang/FlashAttention等开源项目贡献过代码
熟悉国产AI芯片(昇腾/摩尔线程)的推理适配与算子开发
有AI编译器开发经验
有Mooncake的使用经验
有RDMA/NVLink等高速互联场景下的分布式推理经验
AI 洞察
优缺点分析
优点
- 技术方向聚焦大模型推理平台,涉及PD分离、KVCache、投机解码等前沿工程问题,技术积累价值高
- 覆盖NVIDIA GPU、昇腾NPU和国产加速卡,有利于形成跨硬件性能优化能力
- 岗位职责从引擎、算子、缓存到高可用机制较完整,能系统性理解推理服务全链路
- 有Benchmark指标体系和生产可用性要求,适合希望做真实性能闭环的工程师
- 技术栈门槛高,需要同时具备系统编程、GPU架构、深度学习框架和推理算法理解
- 适合有深度学习系统、推理引擎、高性能计算或GPU算子开发经验,希望深入大模型基础设施和异构计算优化的工程师
缺点 / 挑战
- 多硬件平台适配复杂,不同芯片的工具链、算子实现和性能瓶颈差异较大
- 性能优化目标明确,吞吐量、TTFT、TPOT、MFU等指标压力较大,需要持续做细粒度分析和迭代
角色解读
- 可向大模型推理系统专家方向发展,深耕推理引擎、缓存策略、调度系统和分布式推理优化
- 可向AI芯片适配与异构计算专家发展,积累NVIDIA GPU、昇腾NPU和国产加速卡底层优化经验
- 长期可成长为AI基础设施架构师,负责推理平台整体架构、性能体系和跨硬件平台能力建设
- 负责大模型推理引擎的工程化和性能优化,围绕PD分离、投机解码、MTP加速等方向提升推理效率
- 设计分层KVCache管理系统,研发缓存淘汰、预取机制,提升缓存命中率并降低延迟
- 开发高性能推理能力,包括Continuous Batching、动态Batch Size、混合精度推理和多并行策略
- 面向GPU、昇腾NPU和国产加速卡进行Attention、GEMM、通信原语等算子适配与性能调优
- 需要精通C++、CUDA,并理解GPU硬件架构、内存层次、Warp调度和TensorCore等底层机制
- 需要掌握Transformer推理流程,以及vLLM、SGLang、TensorRT-LLM、TGI等主流推理框架的实现原理
- 需要具备KVCache优化、FlashAttention、量化推理和Kernel开发能力
- 需要熟练使用Nsight Systems、Nsight Compute、PyTorch Profiler等工具进行性能分析和瓶颈定位
申请策略
- 面试前建议梳理一个完整推理优化案例,包括问题背景、瓶颈定位、优化方案和最终指标收益
- 关注公司AI基础设施、智能制造和大模型应用方向,准备说明自己的优化经验如何迁移到业务场景
- 突出C++、CUDA、Kernel开发和GPU性能调优经历,最好量化说明吞吐、延迟或MFU提升结果
- 展示对vLLM、SGLang、TensorRT-LLM、TGI等框架的源码理解或二次开发经验
- 强调KVCache、PagedAttention、RadixAttention、FlashAttention、量化推理等相关项目经验
- 如有开源贡献、国产AI芯片适配、RDMA/NVLink或AI编译器经历,应单独列出并说明具体贡献
- 可补充学习PD分离、Disaggregated Serving、Mooncake等大模型推理架构与缓存方案
- 加强Nsight Systems、Nsight Compute、PyTorch Profiler等性能分析工具的实际使用能力
面试指南
- 性能优化类问题可按“指标目标—瓶颈定位—优化方案—验证结果—复盘沉淀”的结构回答
- 技术原理类问题先讲清楚计算流程和内存访问特征,再说明工程实现中的取舍和适用条件
- 故障排查类问题按“现象确认—指标拆解—工具分析—假设验证—回归验证”的路径展开
- 请介绍一次你做过的推理引擎性能优化,瓶颈如何定位,最终提升了哪些指标?
- KVCache为什么会影响大模型推理吞吐和延迟?PagedAttention和RadixAttention各解决什么问题?
- Continuous Batching和动态Batch Size调整在工程实现中有哪些难点?
- 如何针对Transformer或MoE模型优化Attention、GEMM等算子?
- 如果推理服务出现TTFT升高或吞吐下降,你会如何用Profiler工具排查?
职位点评
薪资福利82
成长发展92
工作生活45
使命价值74
薪资福利
82较高
JD未披露薪资与福利信息,但岗位要求较高的底层系统和大模型推理优化能力,通常对应较强的技术薪酬定位。稳定性与福利信息未提及,无法进一步判断。
薪资信号未披露(AI估算:3.5千–6.5万/月)
成长发展
92较高
岗位覆盖大模型推理引擎、KVCache、算子优化、多硬件适配和Benchmark体系,技术深度与成长空间非常突出。JD还列出开源贡献、AI编译器、Mooncake、RDMA/NVLink等加分方向,适合持续深耕底层AI基础设施。
技术前沿前沿/新兴技术
技术栈大模型推理引擎、PD分离架构、多级KVCache缓存、投机解码、MTP加速、Continuous Batching、混合精度推理、CUDA、Transformer、MoE、Attention算子、GEMM、vLLM、SGLang、TensorRT-LLM、TGI、PagedAttention、RadixAttention、FlashAttention、GPTQ、AWQ、SmoothQuant、PyTorch、TensorFlow、Nsight Systems、Nsight Compute、PyTorch Profiler、Mooncake、RDMA、NVLink
业务类型ambiguous
工作生活
45较低
JD仅明确地点为厦门市,未提及远程、弹性办公、双休或加班情况,因此生活化动机满足程度无法充分判断。岗位涉及高可用保障和性能攻坚,但JD未直接说明工作强度。
工作模式未明确
办公地点未明确
加班情况未提及(无法判断)
使命价值
74中等
岗位处于大模型推理和国产AI芯片适配相关方向,技术前沿性较强,对提升AI基础设施效率有积极价值。JD未直接描述社会使命或行业价值导向,意义感主要来自技术本身。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
宁德时代 的其他在招职位
相似职位推荐
软件工程师 - 端到端模型性能优化-北京
小马智行 · 北京市
AI 估算 · 3.0–5.5万36 分钟前发布
Senior AI PC Performance Engineer
戴尔 · 台北市
AI 估算 · 4.5–7.5万8 小时前发布
Senior AI PC Performance Engineer
戴尔 · 台北市
AI 估算 · 3.5–5.5万8 小时前发布
AI PC Performance Engineer
戴尔 · 台北市
AI 估算 · 4.5–7.5万8 小时前发布
AI PC Performance Engineer
戴尔 · 台北市
AI 估算 · 4.5–7.5万8 小时前发布
模型部署与推理优化实习生(算子评估/性能 Benchmark方向)
阿里巴巴 · 北京市
AI 估算 · 6.0千–1.0万22 小时前发布
CPU Performance Developer Technology Engineer
英伟达 · 上海市
AI 估算 · 4.5–7.5万1 天前发布
Power Optimization Engineer
英特尔 · 上海市
AI 估算 · 3.0–5.5万1 天前发布
Watch Jobs