DiDi logo
滴滴出行
推理服务框架工程师(Triton/TensorRT方向)

推理服务框架工程师(Triton/TensorRT方向)

发布于 1 小时前

普通员工/个人贡献者

AI 估算 · 3.5–6.5万 · AI 参考估算
高级经验
本科
全职员工仅现场办公性能优化
性能优化
Cuda
Gpu性能优化
Onnx Runtime
Tensorrt
动态批处理
可观测性

值不值得投

74综合评分

综合评分 74

北京高级AI推理框架岗位,技术前沿、成长性强,办公灵活性未披露

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

5.0万

比性能优化中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 2450 个在招

市场机会

选择不多

北京 · 性能优化 · 10 个在招

职位详情

关于这个职位

该职位聚焦大模型/深度学习模型在线推理服务框架建设,基于 Triton、TensorRT、ONNX Runtime 等组件打造高性能、稳定、可扩展的推理平台

你将负责推理吞吐、延迟、GPU 资源利用率和稳定性优化,并与 Kubernetes GPU 资源管理体系集成,适合有 C++/Python 系统研发和 GPU 推理优化经验的工程师

最低要求

计算机相关专业本科及以上学历,5 年以上 C++/Python 系统研发经验,具备扎实的计算机系统基础

熟悉 NVIDIA Triton Inference Server、TensorRT、ONNX Runtime 等至少一种推理框架,有实际推理服务开发或性能优化经验
具有模型在线推理服务的性能优化、故障诊断或稳定性建设经验
具备良好的系统设计、问题分析和工程实践能力

工作职责

负责基于 NVIDIA Triton Inference Server 建设高性能模型推理服务框架,支持多框架模型的统一部署、管理和高效执行

负责 Triton Core、TensorRT、ONNX Runtime 等组件的集成与优化,完善模型加载、实例管理、动态批处理及并发执行能力
负责模型推理服务的性能优化,提升推理吞吐、降低延迟和资源成本
负责推理服务的稳定性建设,包括故障诊断、资源隔离、异常恢复及可观测能力
参与推理框架与 Kubernetes GPU 资源管理体系的集成,探索多模型共享 GPU、弹性伸缩及异构算力适配

优先资格

熟悉 Triton Core 或 Backend 架构,有自定义 Backend 开发经验

熟悉 TensorRT 推理优化、FP16/INT8 量化、算子融合等技术
熟悉 CUDA 编程、GPU 性能分析工具,具备 GPU 性能优化经验
有 NVIDIA Triton、TensorRT、ONNX Runtime 等相关开源项目贡献经验
有大规模在线推理服务、推荐/广告/视觉模型推理平台的研发经历

AI 洞察

优缺点分析

优点

  • 技术栈聚焦 AI 推理基础设施,涉及 Triton、TensorRT、CUDA、Kubernetes GPU 等前沿工程方向,技术积累价值高
  • 岗位直接服务在线模型推理场景,优化成果可体现在吞吐、延迟、资源成本和稳定性上,产出可量化
  • 基础产品事业部平台型岗位通常能接触大规模系统和复杂工程问题,有利于提升系统设计与性能调优能力
  • 加分项覆盖开源贡献、自定义 Backend、量化与算子融合,适合希望深耕底层推理优化的工程师
  • 需要同时掌握系统研发、GPU 性能优化和推理框架内部机制,学习曲线较陡
  • 在线推理服务对延迟、稳定性和资源成本要求高,问题定位和性能优化需要较强的工程耐心
  • 适合有五年以上 C++/Python 系统研发经验、对 GPU 推理和 AI 基础设施有浓厚兴趣,并希望在高性能服务框架方向长期深耕的工程师

缺点 / 挑战

  • 多模型共享 GPU、弹性伸缩和异构算力适配涉及复杂资源调度,跨团队协作和方案取舍难度较高

角色解读

  • 可沿着高性能推理框架专家方向发展,深入 Triton Core、TensorRT、CUDA 和 GPU 调度等底层技术
  • 可成长为 AI 基础设施平台技术负责人,负责在线推理平台、异构算力平台和模型服务治理体系
  • 未来也可转向 AI 平台架构师或技术管理岗位,统筹推理、训练、资源调度和工程效率体系
  • 建设基于 Triton Inference Server 的模型推理服务框架,统一承载多框架模型的部署、加载、管理与执行
  • 围绕 TensorRT、ONNX Runtime、Triton Core 等组件做集成优化,提升动态批处理、并发执行、实例管理等核心能力
  • 针对在线推理服务做吞吐、延迟、成本和稳定性优化,包括故障诊断、资源隔离、异常恢复和可观测能力建设
  • 参与推理框架与 Kubernetes GPU 资源管理体系集成,探索多模型共享 GPU、弹性伸缩和异构算力适配
  • 需要扎实的 C++/Python 系统研发能力,并具备计算机系统基础和高并发服务开发经验
  • 需要熟悉 Triton、TensorRT、ONNX Runtime 中至少一种推理框架,并理解模型加载、执行、批处理和后端扩展机制
  • 需要具备 GPU 推理性能优化能力,包括 CUDA、量化、算子融合、性能分析工具和瓶颈定位方法
  • 需要理解 Kubernetes、GPU 调度、资源隔离、可观测性和在线服务稳定性治理

申请策略

  • 面试前梳理一个完整的推理服务优化案例,包括问题背景、瓶颈定位、优化方案、上线效果和复盘
  • 关注滴滴基础产品与 AI 平台相关业务方向,准备说明如何将推理框架能力转化为业务侧稳定收益
  • 突出在线推理服务或高性能服务框架项目,写清楚吞吐、延迟、资源成本、稳定性等量化结果
  • 重点展示 Triton、TensorRT、ONNX Runtime、CUDA、Kubernetes GPU 等相关实践,尤其是自定义 Backend 或性能调优细节
  • 强调 C++/Python 系统研发能力、并发编程、资源隔离、故障诊断和可观测性建设经验
  • 如有开源贡献、推荐/广告/视觉模型推理平台经历,应单独列出并说明具体贡献范围
  • 提前准备 Triton Core、Backend 架构、动态批处理和模型加载流程的理解,能够讲清关键实现机制
  • 补充 TensorRT 推理优化、FP16/INT8 量化、算子融合和 GPU Profiling 工具使用经验

面试指南

  • 性能类问题按“指标定义—瓶颈定位—优化方案—压测验证—线上收益”的结构回答,尽量给出量化结果
  • 架构类问题按“业务约束—核心目标—方案对比—取舍理由—落地风险”展开,体现系统设计能力
  • 稳定性类问题按“故障发现—根因定位—止血恢复—预防机制—可观测建设”的闭环思路回答
  • 如何定位一个在线推理服务的延迟瓶颈?你会从 CPU、GPU、网络、批处理和模型执行几个层面如何拆解?
  • Triton Inference Server 的动态批处理和实例管理机制是怎样的?在什么场景下需要自定义 Backend?
  • TensorRT 中 FP16/INT8 量化和算子融合分别适合什么场景,可能带来哪些精度与性能取舍?
  • 如果多个模型共享 GPU 时出现资源争抢和延迟抖动,你会如何设计隔离和调度方案?
  • 请介绍一次你主导的稳定性建设经历,包括故障诊断、异常恢复和可观测能力如何落地

职位点评

薪资福利78
成长发展88
工作生活52
使命价值70

薪资福利

78中等

JD未披露薪资与福利信息,但该岗位要求高级系统研发和GPU推理优化能力,通常对资深技术人才具备较好的薪酬吸引力。稳定性与福利相关条款未提及,需面试确认。

薪资信号未披露(AI估算:3.5千–6.5万/月)

成长发展

88较高

岗位涉及 Triton、TensorRT、ONNX Runtime、CUDA、Kubernetes GPU 等现代 AI 基础设施技术,技术深度和平台化成长空间明显。JD未提及导师制、培训或晋升路径,发展机制需进一步确认。

技术前沿前沿/新兴技术
技术栈NVIDIA Triton Inference Server、TensorRT、ONNX Runtime、CUDA、Kubernetes、GPU、FP16/INT8、算子融合
业务类型ambiguous

工作生活

52较低

JD仅明确地点为北京市,未说明远程、弹性办公、双休或加班情况,生活化动机满足程度无法充分判断。建议面试时确认办公模式和团队节奏。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

70中等

岗位服务于模型在线推理平台建设,对提升AI服务效率、降低资源成本有工程价值,但JD未直接描述社会使命或行业价值导向。意义感主要来自底层技术平台建设和性能优化成果。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs