百度
AI推理加速方向工程师（J100434）
AI推理加速方向工程师（J100434）
发布于 大约 2 个月前普通员工/个人贡献者
北京市
中级经验
全职员工
仅现场办公
学历未注明
软件工程
Kvcache
Megatron
大模型推理
性能优化
自研芯片
CUDA
DeepSpeed
MoE
SGLang
AI 估算 · 25k–45k
大模型高性能计算方向，技术壁垒高，百度核心业务，薪资具有竞争力。
职位详情
关于这个职位
该职位专注于大模型训练与推理的性能优化，涉及万卡推理集群和千卡训练集群的调度与加速
你将参与自研芯片的算子优化和主流推理框架（如vLLM、SGLang）的二次开发，推动SOTA模型获得业界最优性能
适合对底层性能优化有浓厚兴趣、愿意死磕每一个优化点的技术极客
最低要求
思维活跃，学习能力强、自驱力强，愿意主动捣腾事情
对大模型训推引擎或异构计算编程有浓厚的兴趣
拥有vLLM、SGLang、Megatron、DeepSpeed等主流框架的实战或者学习经验，或具备深入的CUDA/高性能算子开发经历
对技术执着，不满足于“能跑”，致力于“更快”，愿意死磕每一个微小的优化点，追求系统性能的极致边界
具备良好的"Vibe Coding"素养，善于利用AI工具链提升工程效率，对人机协同编程有丰富的实践经验和独到感悟
在大模型训推方向有优秀的论文产出，能够将工程实践转化为高质量的学术成果
工作职责
大模型推理引擎优化：面向大规模MoE架构，从服务调度、并行策略、KVCache管理等维度进行极致优化
确保DeepSeek、GLM等SOTA模型能获得业界最优的吞吐与延迟表现
积极参与sglang社区，将领先的feature回馈社区
高性能KV系统开发：参与自研的生产级KVCache池化系统的开发，实现Prefill与Decode阶段的一化内存管理，突破显存墙限制，提升长上下文处理能力
全模态训练引擎研发：构建自研全模态训练框架，设计自适应切分与通算编排策略，让LLM、VLM、VLA等多模态前沿模型获得业界领先的训练效率
自研芯片算子与适配：深入底层硬件，极致优化自研芯片算子性能，完成主流大模型框架的适配与迁移，充分释放自研芯片的算力潜能
AI 洞察
优缺点分析
优点
- 身处大模型最热门赛道，技术前沿性极强，能接触到万卡集群和自研芯片等稀缺资源
- 百度智能云核心部门，工作内容直接驱动业务和客户的大模型迭代，影响力大
- 公司平台大，有机会与业界顶尖团队合作，并回馈开源社区（如sglang）
- 性能优化工作强度大，需要死磕每个细节，工作节奏可能较快
- 技术栈深入且专精，对底层硬件和分布式系统要求高，学习曲线陡峭
- 需兼顾工程落地和学术产出，对自我驱动力和持续学习能力要求极高
- 适合对底层性能优化充满热情、享受将系统压榨到极致的技术极客，且希望在大模型时代的算力基础设施方向深耕的求职者
缺点 / 挑战
- 技术挑战高，个人成长空间大，每一个优化都能带来显著的性能提升和成就感
角色解读
- 从推理引擎优化专家成长为全栈训推架构师，主导大模型基础设施的设计与迭代
- 向AI芯片底层方向深造，成为自研芯片与框架协同优化的核心技术骨干
- 管理方向可晋升为团队技术负责人或架构师，带领团队攻克算力瓶颈
- 优化大模型推理引擎，在MoE架构下调整服务调度、并行策略和KVCache管理，提升吞吐和降低延迟
- 参与自研高性能KVCache池化系统的开发，统一管理Prefill和Decode阶段内存，突破显存墙限制
- 研发全模态训练框架，设计自适应切分和通算编排策略，提升LLM、VLM等模型训练效率
- 深入底层硬件，优化自研芯片的算子性能，并完成主流大模型框架的适配与迁移
- 精通vLLM、SGLang、Megatron或DeepSpeed等主流训推框架，有实战经验或深入学习经历
- 深入掌握CUDA编程和高性能算子开发，能针对硬件特性做极致优化
- 具备系统性能分析能力，能从服务调度、内存管理等多个维度进行调优
- 熟练使用AI工具链提升开发效率，具备Vibe Coding素养和论文写作能力
申请策略
- 在简历或作品集中展示个人对性能优化的热情，例如列出做过的性能调优案例和对应的benchmark结果
- 关注百度智能云的技术博客和开源项目，面试时体现对团队工作的了解
- 突出在vLLM、SGLang等框架的实践经历或贡献，量化优化效果（如吞吐提升X%，延迟降低Y%）
- 展示CUDA或高性能算子开发的项目，包括算子设计、并行策略、内存优化等细节
- 如有大模型训推相关论文，需明确列出成果和创新点
- 强调使用AI工具链提升开发效率的经验，体现Vibe Coding素养
- 深入研读vLLM或SGLang源码，尝试提交bug fix或小feature到社区
- 系统学习CUDA优化技巧，包括warp调度、共享内存使用、算子融合等
面试指南
- 对于架构对比类问题：先说明各自核心设计理念，再对比关键实现差异，最后结合场景给出选择建议
- 对于优化类问题：遵循分析瓶颈→提出方案→实验验证→量化结果的思路，强调对细节的打磨
- 对于开放性问题：结合自身项目经验，从全栈视角展开，体现系统思维能力
- 请解释vLLM中PagedAttention的原理，以及它如何管理KV Cache？
- 如何优化一个基于MoE的大模型推理延迟？请从调度和并行策略角度阐述
- 描述一次你通过CUDA算子优化大幅提升性能的经历，用了哪些技巧？
- SGLang和vLLM在架构设计上有哪些关键差异？各自适用场景是什么？
- 你如何看待自研芯片在大模型推理中的机遇和挑战？
职位点评
72
综合评分
百度智能云AI加速核心岗，前沿技术栈，薪资有竞争力但工作强度较大，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该职位最适合发展性动机强的求职者，即渴望在前沿技术栈中快速成长、愿意投入精力攻坚难题的技术人才。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展92
工作生活40
使命价值70
薪资福利
75中等
百度作为上市公司提供稳定的薪酬福利，薪资在行业内具有竞争力，但JD未明确具体薪资和福利细节。
薪资信号未披露（AI估算：25K-45K/月）
成长发展
92较高
职位涉及最前沿的大模型训推技术和自研芯片，技术栈领先，成长空间极大，且鼓励学术产出和社区贡献。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、Megatron、DeepSpeed、CUDA、KVCache、MoE、大模型推理
业务类型profit_center
工作生活
40较低
职位要求现场办公，未提及弹性工作或远程，性能优化工作强度可能较大，WLB一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况JD含高强度暗示词
使命价值
70中等
大模型行业高速增长，公司技术影响力强，但职位本身偏工程优化，社会使命感不够突出。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
百度 的其他在招职位
相似职位推荐
Watch Jobs