百度
大模型推理研发实习生（J106486）
大模型推理研发实习生（J106486）
发布于 2 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Gpu
Kv Cache
分布式推理
大模型推理
性能优化
模型部署
值不值得投
78综合评分
综合评分 78
百度核心AI Infra实习岗，技术前沿且成长空间极大，适合追求硬核技术发展的在校生。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
5千
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1270 个在招 · 其中机器学习工程 23 个
市场机会
选择面较广
深圳 · 机器学习工程 · 96 个在招
职位详情
关于这个职位
该职位是百度大模型推理研发实习生，主要参与大模型推理系统的研发、性能优化及工程化落地
你将协助进行模型部署、推理链路优化、多卡多机推理场景下的系统研发，以及推理平台后端能力建设，支持大模型在线与离线业务的稳定高效运行
最低要求
计算机、人工智能、软件工程、数学等相关专业本科或硕士在读，具备扎实的计算机基础
了解机器学习、深度学习和大模型推理的基本流程，对推理加速、模型部署或推理服务方向有实践兴趣
熟悉 Python、C / C++、Go、Java 中至少一种编程语言，具备良好的编码能力，熟悉 Python 或 C / C++ 者优先
熟悉 Linux 操作系统基础，了解进程、内存、网络、并发编程等基本原理
具备良好的工程习惯、文档意识和沟通协作能力，能够主动学习并推动问题解决
具备较强的问题分析与定位能力，能够在指导下完成复杂系统中的性能分析、问题排查与模块开发
工作职责
参与大模型推理系统的研发与建设，协助支撑大模型在线服务与离线推理业务的稳定运行，参与模型部署、推理链路优化及推理服务工程化能力建设
参与大模型推理性能优化相关工作，协助开展模型压缩、量化、算子优化、KV Cache 管理、批处理调度等能力开发与效果评测，支持不同模型规格和硬件环境下的推理性能验证
参与推理引擎及服务框架相关模块的研发与优化，协助推进系统在高可用、稳定性、性能、可扩展性等方向的能力建设，参与推理服务、任务调度、资源管理、缓存机制或接口链路等相关模块的开发与问题排查
参与大模型推理业务的工程化落地，协助优化首 Token 时延、吞吐、显存利用率与服务稳定性，支持多场景下的推理部署、性能调优与效果保障工作
参与多卡、多机推理场景下的系统研发与稳定性建设，协助分析和处理生产环境中的性能抖动、显存瓶颈、调度异常、延迟波动等问题
参与推理平台后端能力建设，支持模型服务管理、性能监控、容量评估与成本优化等相关能力建设，参与监控、日志、Tracing 等可观测体系的开发与维护，推动常见问题定位与处理流程的自动化
参与推理效果与性能联合优化工作，协助从模型结构、推理框架、服务架构等多个层面分析影响推理效率与结果质量的关键因素，推动优化方案落地
优先资格
对模型推理优化方向有较强兴趣，了解 GPU、显存管理、并行计算或异构硬件基础者优先
有推理引擎、模型部署、服务框架、性能优化或大模型相关项目经验者优先
了解 Transformer、大语言模型、多模态模型等常见模型结构，能够从推理侧理解其运行特性与性能需求者优先
了解常见推理优化方法，如量化、蒸馏、剪枝、算子融合、动态批处理、Paged Attention、KV Cache 优化等者优先
了解多卡/多机场景下常见并行模式（如 TP / DP / PP / EP）或分布式推理方案者优先
AI 洞察
优缺点分析
优点
- 接触大模型推理最前沿技术，如KV Cache优化、多机多卡分布式推理，技术壁垒高
- 依托在AI领域的深厚积累，能参与大规模生产环境的真实业务落地，工程经验含金量极高
- 实习转正机会大，表现优异者有机会直接留用成为正式员工
- 大模型推理优化涉及底层硬件与系统架构，技术难度大，学习曲线陡峭
- 适合对AI Infra、大模型底层系统优化有浓厚兴趣，且具备扎实C++/系统编程基础的计算机相关专业在校生
缺点 / 挑战
- 需要处理生产环境中的复杂性能抖动与显存瓶颈问题，对问题排查能力要求高
角色解读
- 从推理系统开发实习生成长为独立负责推理引擎或优化模块的正式研发工程师
- 向大模型底层系统架构师或AI Infra专家方向发展，深入分布式系统与异构计算领域
- 参与大模型推理系统的核心研发，包括模型部署、推理链路优化及工程化能力建设
- 负责推理性能优化，涉及模型压缩、量化、算子优化、KV Cache管理等底层技术
- 开发和维护推理平台后端能力，构建监控、日志等可观测体系，保障多卡多机推理场景的高可用与稳定性
- 熟练掌握Python或C/C++，具备扎实的计算机基础与Linux系统编程能力
- 了解深度学习与大模型推理流程，熟悉Transformer等模型结构及常见推理优化方法（如量化、Paged Attention）
- 具备较强的问题分析与定位能力，能处理分布式推理场景下的性能与稳定性问题
申请策略
- 提前了解百度在大模型领域的最新进展（如文心一言的底层推理架构），在面试中展现对业务的关注
- 突出C++/Python编程能力，以及在Linux环境下的系统级开发或并发编程经验
- 详细列出在大模型、推理引擎、模型部署或性能优化相关的项目经历，特别是涉及量化、算子优化或分布式推理的实践
- 展示对Transformer结构及常见推理优化方法（如Paged Attention、KV Cache）的理解与实践经验
- 深入学习CUDA编程、GPU显存管理及并行计算基础，提升底层硬件优化能力
- 熟悉主流推理框架（如vLLM、TensorRT-LLM）的源码与实现机制
面试指南
- 针对项目经验：采用STAR法则，重点突出“性能瓶颈分析”与“优化方案落地”的过程，用具体数据（如延迟降低、吞吐提升）量化成果
- 针对底层原理：从“是什么-为什么-怎么做”的逻辑展开，结合具体场景（如长文本、高并发）说明技术的应用与局限
- 请介绍一个你参与过的模型部署或推理优化项目，遇到了什么性能瓶颈，是如何解决的？
- 解释一下KV Cache的作用，以及在长文本推理中如何优化KV Cache的显存占用？
- 在多卡/多机推理场景下，TP和PP的区别是什么？如何处理节点间的通信开销？
- C++中智能指针的实现原理是什么？在多线程环境下如何保证内存安全？
- 复习C++基础、操作系统原理（进程/内存/并发）及计算机网络，准备手撕代码（算法题与系统级编程题）
- 深入阅读1-2篇大模型推理优化的顶会论文或主流开源框架（如vLLM）的核心源码，准备技术深度拷问
职位点评
薪资福利75
成长发展95
工作生活50
使命价值85
薪资福利
75中等
作为头部互联网公司的AI核心方向实习岗，实习津贴处于市场较高水平，且转正后薪资竞争力强。
薪资信号未披露（AI估算：4–6.5千/月）
成长发展
95较高
岗位涉及大模型推理底层优化与分布式系统，技术前沿且极具深度，能极大提升AI Infra领域的硬核技术能力。
技术前沿前沿/新兴技术
技术栈Python、C++、大模型推理、KV Cache、Paged Attention、分布式推理、GPU
业务类型profit_center
工作生活
50较低
大模型核心研发岗通常工作节奏较快，且JD未提及弹性工作或WLB相关福利，工作强度可能较大。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
大模型是当前AI领域最具变革性的技术，参与大模型推理系统的研发具有极高的行业价值与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs