
推理服务框架工程师(Triton/TensorRT方向)
发布于 1 小时前普通员工/个人贡献者
值不值得投
综合评分 74
北京高级AI推理框架岗位,技术前沿、成长性强,办公灵活性未披露
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
5.0万
比性能优化中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2450 个在招
市场机会
选择不多
北京 · 性能优化 · 10 个在招
职位详情
关于这个职位
该职位聚焦大模型/深度学习模型在线推理服务框架建设,基于 Triton、TensorRT、ONNX Runtime 等组件打造高性能、稳定、可扩展的推理平台
最低要求
计算机相关专业本科及以上学历,5 年以上 C++/Python 系统研发经验,具备扎实的计算机系统基础
工作职责
负责基于 NVIDIA Triton Inference Server 建设高性能模型推理服务框架,支持多框架模型的统一部署、管理和高效执行
优先资格
熟悉 Triton Core 或 Backend 架构,有自定义 Backend 开发经验
AI 洞察
优缺点分析
优点
- 技术栈聚焦 AI 推理基础设施,涉及 Triton、TensorRT、CUDA、Kubernetes GPU 等前沿工程方向,技术积累价值高
- 岗位直接服务在线模型推理场景,优化成果可体现在吞吐、延迟、资源成本和稳定性上,产出可量化
- 基础产品事业部平台型岗位通常能接触大规模系统和复杂工程问题,有利于提升系统设计与性能调优能力
- 加分项覆盖开源贡献、自定义 Backend、量化与算子融合,适合希望深耕底层推理优化的工程师
- 需要同时掌握系统研发、GPU 性能优化和推理框架内部机制,学习曲线较陡
- 在线推理服务对延迟、稳定性和资源成本要求高,问题定位和性能优化需要较强的工程耐心
- 适合有五年以上 C++/Python 系统研发经验、对 GPU 推理和 AI 基础设施有浓厚兴趣,并希望在高性能服务框架方向长期深耕的工程师
缺点 / 挑战
- 多模型共享 GPU、弹性伸缩和异构算力适配涉及复杂资源调度,跨团队协作和方案取舍难度较高
角色解读
- 可沿着高性能推理框架专家方向发展,深入 Triton Core、TensorRT、CUDA 和 GPU 调度等底层技术
- 可成长为 AI 基础设施平台技术负责人,负责在线推理平台、异构算力平台和模型服务治理体系
- 未来也可转向 AI 平台架构师或技术管理岗位,统筹推理、训练、资源调度和工程效率体系
- 建设基于 Triton Inference Server 的模型推理服务框架,统一承载多框架模型的部署、加载、管理与执行
- 围绕 TensorRT、ONNX Runtime、Triton Core 等组件做集成优化,提升动态批处理、并发执行、实例管理等核心能力
- 针对在线推理服务做吞吐、延迟、成本和稳定性优化,包括故障诊断、资源隔离、异常恢复和可观测能力建设
- 参与推理框架与 Kubernetes GPU 资源管理体系集成,探索多模型共享 GPU、弹性伸缩和异构算力适配
- 需要扎实的 C++/Python 系统研发能力,并具备计算机系统基础和高并发服务开发经验
- 需要熟悉 Triton、TensorRT、ONNX Runtime 中至少一种推理框架,并理解模型加载、执行、批处理和后端扩展机制
- 需要具备 GPU 推理性能优化能力,包括 CUDA、量化、算子融合、性能分析工具和瓶颈定位方法
- 需要理解 Kubernetes、GPU 调度、资源隔离、可观测性和在线服务稳定性治理
申请策略
- 面试前梳理一个完整的推理服务优化案例,包括问题背景、瓶颈定位、优化方案、上线效果和复盘
- 关注滴滴基础产品与 AI 平台相关业务方向,准备说明如何将推理框架能力转化为业务侧稳定收益
- 突出在线推理服务或高性能服务框架项目,写清楚吞吐、延迟、资源成本、稳定性等量化结果
- 重点展示 Triton、TensorRT、ONNX Runtime、CUDA、Kubernetes GPU 等相关实践,尤其是自定义 Backend 或性能调优细节
- 强调 C++/Python 系统研发能力、并发编程、资源隔离、故障诊断和可观测性建设经验
- 如有开源贡献、推荐/广告/视觉模型推理平台经历,应单独列出并说明具体贡献范围
- 提前准备 Triton Core、Backend 架构、动态批处理和模型加载流程的理解,能够讲清关键实现机制
- 补充 TensorRT 推理优化、FP16/INT8 量化、算子融合和 GPU Profiling 工具使用经验
面试指南
- 性能类问题按“指标定义—瓶颈定位—优化方案—压测验证—线上收益”的结构回答,尽量给出量化结果
- 架构类问题按“业务约束—核心目标—方案对比—取舍理由—落地风险”展开,体现系统设计能力
- 稳定性类问题按“故障发现—根因定位—止血恢复—预防机制—可观测建设”的闭环思路回答
- 如何定位一个在线推理服务的延迟瓶颈?你会从 CPU、GPU、网络、批处理和模型执行几个层面如何拆解?
- Triton Inference Server 的动态批处理和实例管理机制是怎样的?在什么场景下需要自定义 Backend?
- TensorRT 中 FP16/INT8 量化和算子融合分别适合什么场景,可能带来哪些精度与性能取舍?
- 如果多个模型共享 GPU 时出现资源争抢和延迟抖动,你会如何设计隔离和调度方案?
- 请介绍一次你主导的稳定性建设经历,包括故障诊断、异常恢复和可观测能力如何落地
职位点评
薪资福利
JD未披露薪资与福利信息,但该岗位要求高级系统研发和GPU推理优化能力,通常对资深技术人才具备较好的薪酬吸引力。稳定性与福利相关条款未提及,需面试确认。
成长发展
岗位涉及 Triton、TensorRT、ONNX Runtime、CUDA、Kubernetes GPU 等现代 AI 基础设施技术,技术深度和平台化成长空间明显。JD未提及导师制、培训或晋升路径,发展机制需进一步确认。
工作生活
JD仅明确地点为北京市,未说明远程、弹性办公、双休或加班情况,生活化动机满足程度无法充分判断。建议面试时确认办公模式和团队节奏。
使命价值
岗位服务于模型在线推理平台建设,对提升AI服务效率、降低资源成本有工程价值,但JD未直接描述社会使命或行业价值导向。意义感主要来自底层技术平台建设和性能优化成果。
滴滴出行 的其他在招职位