百度
模型推理优化工程师（J106570）
模型推理优化工程师（J106570）
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Llm
Tensorrt
Vllm
性能调优
模型推理优化
算子开发
值不值得投
76综合评分
综合评分 76
顶尖大厂AI基建核心岗，技术栈前沿且成长空间大，但工作强度与节奏需做好心理准备。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.3万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1310 个在招 · 其中算法优化工程师 11 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 360 个在招
职位详情
关于这个职位
负责生成式AI模型（如LLM、Diffusion）的推理性能优化，通过框架定制、算子开发与模型压缩等技术，提升系统吞吐并降低延迟与成本
需结合底层硬件架构与业务场景，实现端到端的高效部署
最低要求
计算机、电子工程、数学等相关专业本科及以上学历，具备扎实的计算机体系结构、操作系统和并行计算基础
熟悉深度学习模型的计算原理，对Transformer、CNN、Diffusion等模型结构及其计算特征有深入理解
熟悉至少一种主流推理框架，如TensorRT、ONNX Runtime、vLLM、TensorRT-LLM等，具备实际性能优化经验
熟练掌握C/C++、Python，熟悉CUDA、Triton等GPU编程技术，有高性能算子开发或优化经验者优先
熟悉模型性能分析方法和工具，能够通过Profiling定位计算、访存、通信等性能瓶颈，并提出有效的优化方案
具备较强的工程实现能力和技术钻研精神，能够深入模型和底层计算细节，推动复杂优化方案落地
工作职责
模型推理性能优化：负责生成式AI模型的推理性能优化，涵盖LLM、Diffusion、视频生成、数字人等模型，持续提升推理吞吐、降低延迟及计算成本
推理框架优化：深入研究和优化主流推理框架，包括TensorRT、ONNX Runtime、PyTorch、vLLM等，结合业务场景进行定制化优化
算子与计算优化：针对模型计算瓶颈，开展算子融合、计算图优化、显存管理、访存优化、并行计算等工作，必要时基于CUDA、Triton等开发高性能算子
模型压缩与加速：探索并落地量化、蒸馏、剪枝、低精度计算等技术，在保证模型效果的前提下提升推理效率
异构计算与部署优化：探索GPU、CPU及其他计算硬件的推理优化方案，针对不同模型和业务负载选择高性价比的计算架构
端到端推理系统优化：结合实时交互、视频生成等业务需求，从模型结构、推理引擎到服务架构开展协同优化，实现推理成本和性能的持续突破
AI 洞察
优缺点分析
优点
- 接触最前沿的生成式AI模型与推理技术栈，技术视野开阔且行业壁垒高
- 依托头部互联网平台的海量业务场景与真实数据，优化成果可直接规模化落地
- 团队技术氛围浓厚，易积累底层系统优化与GPU编程的核心竞争力
- 性能优化涉及软硬件交叉调试，问题定位难度大且需要极强的耐心与钻研精神
- 生成式AI技术迭代极快，需持续跟进最新框架特性与学术成果以保持技术领先
- 适合热爱底层系统优化、具备较强工程落地能力且愿意在AI基础设施领域长期深耕的技术人员
缺点 / 挑战
- 业务侧对延迟与成本指标要求严苛，上线前压测与多轮调优压力较大
角色解读
- 纵向深耕AI Infra方向，成长为推理引擎架构师或高性能计算领域专家
- 横向拓展至模型训练加速、分布式训练框架或云原生AI服务平台建设
- 向技术管理或首席工程师发展，主导公司级AI基础设施的技术规划与落地
- 负责生成式AI模型（LLM、Diffusion等）的推理性能调优，直接决定线上服务的响应速度与算力成本
- 深入主流推理框架与底层硬件，开展算子开发、计算图优化与显存管理，解决高并发下的性能瓶颈
- 落地模型压缩与异构部署方案，平衡模型精度、推理延迟与硬件资源消耗
- 扎实的计算机体系结构与并行计算基础，熟悉操作系统调度与内存管理机制
- 精通C/C++与Python，掌握CUDA/Triton GPU编程及高性能算子开发流程
- 熟练使用TensorRT、vLLM等推理框架，具备Profiling性能分析与瓶颈定位能力
- 深入理解Transformer、Diffusion等主流模型的计算特征与显存访问模式
申请策略
- 提前了解目标业务线（如文心一言、视频生成等）的推理架构特点，面试时可针对性提问
- 准备1-2个完整的性能优化闭环案例，清晰阐述背景、工具、排查路径与最终收益
- 突出CUDA/Triton算子开发或推理框架二次开发的实战项目，量化吞吐提升与延迟降低指标
- 强调Profiling工具使用经验，展示如何定位并解决计算/访存/通信瓶颈的具体案例
- 列出参与过的模型压缩、量化或异构部署项目，体现对Transformer/Diffusion结构的理解深度
- 系统复习计算机组成原理与操作系统，强化多线程并行与内存层次结构知识
- 动手实践TensorRT/vLLM源码阅读，掌握PagedAttention、Continuous Batching等核心机制
- 熟悉常见性能分析工具（Nsight Systems, PyTorch Profiler, perf），提升自动化调优能力
面试指南
- 采用STAR法则（情境-任务-行动-结果）结构化回答，重点突出数据指标与排查逻辑
- 技术类问题先讲清底层原理，再结合具体工具链说明操作步骤，最后总结可复用的方法论
- 遇到不确定的问题坦诚说明边界，并给出合理的推导过程或替代验证方案
- 请描述一次你使用Profiling工具定位GPU性能瓶颈的经历，具体是如何分析的？
- Transformer解码阶段的KV Cache显存占用很高，有哪些优化思路？
- 对比TensorRT与vLLM的架构差异，在什么业务场景下你会优先选择哪一个？
- 如何用CUDA编写一个高效的矩阵乘法算子？考虑过哪些优化手段？
- 模型量化后精度下降明显，你会如何设计评估与补偿策略？
职位点评
薪资福利80
成长发展92
工作生活45
使命价值78
薪资福利
80较高
该职位面向AI底层优化细分领域，技术门槛高且市场供给稀缺，整体薪酬竞争力处于行业中上水平。
薪资信号未披露（AI估算：3.5千–7.0万/月）
成长发展
92较高
岗位深度绑定生成式AI前沿技术栈，提供接触大规模模型与异构硬件的真实场景，技术成长曲线陡峭。
技术前沿前沿/新兴技术
技术栈LLM、Diffusion、TensorRT、vLLM、CUDA、Triton、模型量化、算子融合
业务类型ambiguous
工作生活
45较低
JD未明确办公模式与工时安排，互联网大厂核心技术岗通常面临较快的迭代节奏与较高的交付压力。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
78中等
致力于降低生成式AI的推理成本与延迟，直接支撑大模型商业化落地与用户体验提升，具备明确的产业价值导向。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs