百度
AI推理加速方向工程师（J106319）
AI推理加速方向工程师（J106319）
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Llm推理引擎
Moe架构
Vllm
异构计算
模型压缩
高性能算子
开源社区贡献
值不值得投
81综合评分
综合评分 81
前沿大模型推理技术、高薪大厂平台、技术成长极快、常规互联网节奏
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比人工智能中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 1340 个在招 · 其中人工智能 39 个
市场机会
选择面较广
北京 · 人工智能 · 约 660 个在招
职位详情
关于这个职位
负责大语言模型推理引擎的核心开发与性能调优，涵盖MoE架构调度、多芯异构算力适配及全模态场景支持
通过底层算子优化、模型压缩裁剪及高效工具链构建，实现高吞吐低延迟部署，释放硬件潜能并显著降低推理成本
最低要求
对大模型推理引擎或异构计算编程有浓厚的兴趣
拥有 vLLM、SGLang、TRT-LLM、LM-Deploy 等主流框架的实战或者学习经验，或具备深入的 CUDA/高性能算子开发经历
有过真实模型部署、优化经验以及大规模服务场景下问题排查经验
良好的工程素养，良好的团队协作精神
工作职责
大语言模型推理引擎优化：面向 TB 级别大规模 MoE 架构，从服务调度、部署策略、并行策略、模型小型化、稀疏化、高性能算子、显存策略等维度进行极致优化
在面向高吞吐和低延迟场景的部署需求下,达到硬件的极限水平,实现极致的成本优势
多芯推理加速：面向GPU、昆仑、昇腾、AMD等多种异构算力芯片，基于Agent infra构建统一的多芯推理加速方案，做软硬结合的极致优化
支持多芯模型镜像与性价比对，实现前沿模型在多芯上的快速适配与最优性价比落地
全模态推理引擎研发：面向包括但不限于文本、图片、视频、语音等模态在内的全模态场景,进行架构、算法、策略上的极致优化,构建下一代适用于全模态场景的推理引擎
高性能算子研发和优化：深入底层硬件,挖掘微架构潜力,针对复杂的计算密集型单体算子和包括但不限于通算融合、存算融合在内的融合算子做极致优化和模式探索,充分释放各种算力芯片的硬件潜能
先进模型架构设计/算法研究：结合现有模型和真实需求,在包括但不限于低精度、KV 稀疏化以及模型裁剪等领域做算法设计和研究,构建业界领先的 SOTA 算法,具备一定的落地能力
高效工具链构建：基于现有的 AI 能力及其自进化能力,构建极致高效的 Harness/Loop/Graph 工程,强化推理基建能力,助力研发迭代效率实现数十倍效率提升,挖掘人力有限时间内难以触达的技术边界
优先资格
有昆仑、昇腾、AMD 等国产/异构芯片上的推理适配、算子开发或多芯性能调优经验者优先
社区参与度：在 vLLM、SGLang、FlashInfer 等开源社区有贡献记录(Contribute/PR)者优先
AI 洞察
优缺点分析
优点
- 接触业界最前沿的大模型推理技术与异构算力生态，技术壁垒高且不可替代性强
- 依托头部互联网平台，拥有海量真实业务场景与顶级算力资源支持
- 技术栈极深，需同时兼顾软件算法与底层硬件特性，学习曲线陡峭
- 适合热爱底层系统编程、对大模型推理机制有强烈好奇心且具备扎实计算机体系结构基础的求职者
缺点 / 挑战
- 面对TB级模型与复杂调度场景，性能调优容错率低，攻坚期压力较大
角色解读
- 可向AI基础设施架构师、大模型系统专家方向发展
- 积累底层优化经验后，可横向拓展至芯片原厂合作或纵向深入AI编译器/运行时领域，成为领域技术专家
- 负责大语言模型推理引擎的核心开发与性能调优，解决高并发、低延迟部署难题
- 深入底层硬件与算子层面，打通多芯异构算力适配链路
- 构建自动化推理工具链，支撑业务侧的高效迭代
- 精通CUDA编程与高性能算子开发，熟悉vLLM/SGLang等主流推理框架
- 掌握模型压缩、量化及MoE架构调度策略
- 具备大规模分布式系统调试与性能剖析能力
申请策略
- 提前梳理个人在开源社区的贡献记录，面试时重点展示代码规范与性能剖析工具使用经验
- 了解目标团队近期开源项目或技术博客
- 突出CUDA/算子开发实战项目，量化性能提升指标（如吞吐量QPS、延迟降低比例）
- 详细列出参与过的推理框架源码修改或性能优化案例
- 深入研究Transformer底层计算图与内存管理，补充分布式训练/推理通信库（如NCCL/RPC）知识
- 关注FlashAttention、PagedAttention等最新论文并尝试复现
面试指南
- 采用STAR法则，清晰界定问题背景、技术选型依据、具体实施步骤及最终量化收益
- 强调系统性思维，将算法策略与硬件特性结合分析，展现底层排查逻辑
- 请详细描述你优化过的高性能算子或推理框架模块，遇到了哪些瓶颈？如何定位并解决的？
- 针对MoE架构，你认为在服务调度与显存分配上最大的挑战是什么？
- 如何设计一套支持多芯异构的统一推理加速方案？
- 复习计算机体系结构基础（缓存一致性、内存带宽、SIMD指令集）
- 准备1-2个完整的性能调优案例，能清晰画出计算图与数据流
- 浏览目标团队近期技术分享
职位点评
薪资福利85
成长发展92
工作生活65
使命价值75
薪资福利
85较高
头部大厂提供具有市场竞争力的薪酬福利与完善的保障体系，对补偿性动机满足度较高。
薪资信号偏高 (4.0千–7.0万/月)
成长发展
92较高
岗位深度绑定大模型推理前沿技术，涉及异构计算、算子优化与全模态架构，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM、CUDA、vLLM、MoE、异构计算、算子优化
业务类型profit_center
工作生活
65中等
互联网大厂常规节奏，虽未明确标注弹性工时，但技术攻坚期可能存在一定加班压力，整体WLB中等。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
致力于构建下一代全模态推理引擎与高效工具链，推动AI技术普惠与降本增效，具备较强的行业使命感与技术价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs