百度
大模型推理研发工程师（J106548）
大模型推理研发工程师（J106548）
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Pytorch
Sglang
Tensorrt-Llm
大模型推理
异构计算
性能调优
模型量化
值不值得投
72综合评分
综合评分 72
聚焦大模型推理底层优化，技术栈前沿且业务价值高，但工作强度与地点未明确说明。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
6.0万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1300 个在招 · 其中算法优化工程师 10 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 360 个在招
职位详情
关于这个职位
负责大模型从训练权重到线上服务的全链路工程化部署与推理引擎极致优化，涵盖模型压缩、算子开发、多硬件平台适配及高并发场景下的成本与性能调优，全面保障核心业务的大模型能力稳定落地与高效运行
最低要求
精通C/C++/Python，有良好的编程习惯和扎实的算法基础，有大模型推理相关框架、工程落地实践经验
了解前沿AI技术，熟悉大模型Transformer基本原理，熟悉PyTorch，掌握模型量化、KV Cache、投机解码、连续批处理等推理核心技术原理
具备GPU/国产异构芯片集群性能分析和调优经验、熟悉CUDA编程、自定义算子优化，熟悉主流推理框架（SGLang、TensorRT-LLM等），能够独立分析计算、显存、通信瓶颈
优秀的分析问题和解决问题的能力，沟通能力和团队合作意识强，热爱挑战，自驱力强，能够持续跟进前沿推理技术并落地
工作职责
负责公司基础大模型和专精大模型从模型权重到线上服务的全链路落地与业务适配，开展模型转换、模型压缩、知识蒸馏、推理适配等工作，完成部署配套算子适配、模型部署验证、精度对齐，保障大模型能力稳定落地业务
对核心场景、核心模型的推理引擎极致优化，不限于pd分离、KVcache、投机解码、量化压缩、前缀缓存、连续批处理等手段，降低TTFT、持续提升decode吞吐，对超万亿参数模型积累部署推理优化经验
持续为上亿流量产品的大模型部署推理成本优化负责
负责大模型推理链路全栈工程落地，包含模型权重预处理、自定义算子开发与性能优化、推理调度策略、显存管理
基于英伟达GPU、昆仑芯、昇腾等多硬件平台，定位端到端推理性能瓶颈，优化异构硬件资源利用率，保障线上服务稳定性、时延与吞吐指标
负责多模态（文本、图像、语音）大模型推理方案设计与落地，构建推理侧评估与验证工具链，对比不同推理框架性能差异，保障线上推理结果精度、一致性
持续跟进SGLang、TensorRT-LLM等前沿推理引擎技术进展，沉淀多硬件平台推理优化方案与技术规范
优先资格
有线上大模型高并发推理服务落地经验优先，熟悉多模态大模型推理、超大模型分布式推理（张量并行/流水线并行），有昆仑芯、昇腾等国产芯片适配经验优先
AI 洞察
优缺点分析
优点
- 处于AI大模型落地核心环节，技术栈极具前瞻性与行业稀缺性
- 直接对接上亿流量产品，业务价值高且能接触海量真实数据与算力资源
- 团队技术氛围浓厚，有机会参与国内顶尖推理引擎开源项目或专利产出
- 技术迭代极快，需持续跟进SGLang、TensorRT-LLM等前沿框架并快速落地
- 涉及多硬件平台适配，调试环境复杂且需兼顾兼容性与性能平衡
- 适合具备扎实底层工程能力、对AI系统优化有强烈热情、能承受高压研发节奏的计算机/软件工程背景求职者
缺点 / 挑战
- 高并发线上服务对稳定性与性能要求苛刻，故障排查与压测压力较大
角色解读
- 向大模型系统架构师或推理引擎核心专家方向发展
- 拓展至多模态大模型全栈工程或AI基础设施平台建设
- 积累深厚后可转向AI技术管理或资深技术顾问角色
- 负责大模型从训练权重到线上服务的全链路部署与工程化落地
- 针对核心场景进行推理引擎极致优化，降低首字延迟(TTFT)并提升解码吞吐量
- 开发自定义算子与调度策略，在英伟达及国产芯片上实现异构硬件资源的高效利用
- 构建多模态推理评估工具链，保障线上服务的精度一致性与系统稳定性
- 精通C/C++/Python及扎实的数据结构与算法基础
- 深入理解Transformer架构及PyTorch框架，掌握KV Cache、投机解码等推理核心技术
- 具备CUDA编程与自定义算子开发能力，熟悉主流推理框架(SGLang/TensorRT-LLM)
- 拥有GPU/国产芯片集群性能分析与调优经验，能独立定位计算、显存与通信瓶颈
申请策略
- 关注百度AI技术社区与开源贡献记录，展现对前沿推理技术的跟踪能力
- 准备典型的高性能计算或模型部署案例，重点说明问题定位与优化思路
- 突出C++/CUDA高性能编程与大模型推理框架的实际落地项目
- 量化展示推理加速成果(如TTFT降低XX%、吞吐提升XX倍、显存节省XX%)
- 强调异构芯片(英伟达/昇腾/昆仑芯)适配经验与自定义算子开发案例
- 深入学习Transformer底层机制及KV Cache、连续批处理等推理优化算法
- 强化CUDA编程与性能剖析工具(Nsight Systems/Compute)的使用熟练度
- 补充分布式训练/推理并行策略(张量并行/流水线并行)的理论实践
面试指南
- 采用STAR法则结构化回答，清晰交代背景、任务、行动与可量化的结果
- 技术类问题先阐述底层原理，再结合具体工具链与实验数据展开
- 遇到模糊边界问题时，主动说明权衡取舍(trade-off)的逻辑与后续验证计划
- 请详细描述一次你通过CUDA优化或算子开发显著提升模型推理性能的案例
- 面对千亿级参数模型的分布式推理，如何设计显存管理与通信优化策略？
- 如何对比评估SGLang与TensorRT-LLM在不同场景下的性能差异？
- 当线上服务出现突发性延迟飙升时，你的排查路径是什么？
- 复习Transformer注意力机制、量化压缩及各类解码策略的数学与工程实现
职位点评
薪资福利70
成长发展92
工作生活45
使命价值80
薪资福利
70中等
JD未明确薪资与福利细节，仅体现核心研发属性，整体满足程度取决于实际谈薪结果。
薪资信号未披露（AI估算：4.0千–8.0万/月）
成长发展
92较高
岗位聚焦大模型推理底层优化与多硬件适配，技术栈处于AI工程化最前沿，成长空间与技术壁垒极高。
技术前沿前沿/新兴技术
技术栈C++、CUDA、PyTorch、Transformer、KV Cache、投机解码、SGLang、TensorRT-LLM、模型量化、异构计算
业务类型profit_center
工作生活
45较低
JD未提及办公模式与工时安排，线上保障责任明确，WLB满足程度暂无法判断。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于将前沿大模型能力稳定落地于上亿流量业务，推动AI技术规模化应用，具有显著的行业价值与社会影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs