百度
大模型推理工程实习生（J105856）
大模型推理工程实习生（J105856）
发布于 1 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Go
Kvcache
Sglang
Tensorrt-Llm
Vllm
云原生
大模型推理
推理引擎
值不值得投
77综合评分
综合评分 77
百度核心AI方向实习岗，技术栈前沿且成长空间极大，适合硬核技术极客，WLB未明确。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
7千
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1170 个在招 · 其中人工智能 31 个
市场机会
选择面较广
北京 · 人工智能 · 约 610 个在招
职位详情
关于这个职位
该职位是百度大模型推理工程实习生，主要参与大模型推理部署平台与推理引擎基础设施的设计与研发，构建高吞吐、低延迟的推理系统
你将接触vLLM、Kubernetes等前沿技术，负责后端推理服务及平台组件的开发与技术调研
最低要求
计算机及相关专业本科及以上学历，熟悉常用的算法和数据结构
精通Go/Python研发经验，具有良好的编程习惯
熟悉Kubernetes生态，了解分离式架构、Nvidia Dynamo、LLM-D等推理系统，了解Mooncake、LMCache等KVCache基础设施
熟悉vLLM、SGLang、TensorRT-LLM等大模型推理引擎框架，了解多模态推理、Prefix Caching、Speculative Decoding等技术
具有良好的学习能力，快速接受新事物
具有良好时间意识、沟通能力、团队合作能力
工作职责
参与设计与研发面向大模型推理服务的推理部署平台与推理引擎基础设施，构建高吞吐、低延迟、高可用的推理系统，支撑大规模Token推理请求处理
参与大模型平台后端推理服务、推理部署平台研发
参与平台内组件、工具的开发
参与定制需求的开发工作
参与大模型推理技术调研等工作
优先资格
具备云原生AI平台研发经验者优先
具备工程化落地经验者优先
AI 洞察
优缺点分析
优点
- 接触大模型推理最前沿技术（如vLLM、TensorRT-LLM），技术壁垒高，行业需求旺盛
- 依托头部公司大模型平台，能参与大规模Token推理的真实业务场景，积累稀缺的工程化落地经验
- 大模型推理系统涉及底层硬件、分布式架构与算法优化，技术栈深且学习曲线陡峭
- 适合对AI底层系统、高性能计算和云原生架构有浓厚兴趣，且具备扎实编程基础与快速学习能力的计算机专业学生
缺点 / 挑战
- 需要快速跟进日新月异的AI基础设施技术，工作挑战与压力较大
角色解读
- 从推理工程实习生成长为AI基础设施工程师或大模型系统架构师
- 未来可向大模型底层优化、AI平台架构或高性能计算方向深入发展
- 参与大模型推理部署平台与推理引擎基础设施的设计与研发，构建高吞吐、低延迟的推理系统
- 负责后端推理服务、平台组件开发以及前沿推理技术的调研与工程化落地
- 精通Go或Python编程，熟悉Kubernetes生态及云原生架构
- 掌握vLLM、SGLang等主流大模型推理引擎，了解KVCache、Speculative Decoding等加速技术
申请策略
- 提前了解百度文心大模型平台的架构特点，在面试中展现对大模型推理痛点（如显存占用、吞吐量瓶颈）的思考
- 突出Go/Python项目经验，特别是涉及高并发、低延迟系统的开发经历
- 展示对Kubernetes、vLLM等推理引擎或云原生技术的了解与实践经验
- 深入学习vLLM或SGLang的源码与运行机制，了解KVCache优化及Speculative Decoding等加速原理
- 动手搭建或微调一个基于K8s的推理服务Demo，积累实操经验
面试指南
- 采用STAR法则回答项目经验，重点突出性能优化的具体指标（如延迟降低多少、吞吐提升多少）
- 对于技术原理问题，从底层机制（如显存管理、计算图优化）结合实际应用场景进行解答
- 请介绍你对vLLM或SGLang等推理引擎的理解，它们是如何优化推理性能的？
- 在Kubernetes环境下，如何部署和管理高可用的大模型推理服务？
- 什么是KVCache？Prefix Caching和Speculative Decoding是如何工作的？
- 请描述一个你使用Go或Python开发的高并发/低延迟项目，遇到了什么性能瓶颈及如何解决？
- 复习Go/Python的并发编程模型及内存管理
- 阅读vLLM、TensorRT-LLM的官方文档或核心论文，理解PagedAttention等关键技术的实现原理
职位点评
薪资福利70
成长发展95
工作生活50
使命价值85
薪资福利
70中等
作为头部互联网公司的AI核心方向实习岗，实习津贴处于市场较高水平，但毕竟为实习身份，无法享受正式员工的完整薪酬福利体系。
薪资信号未披露（AI估算：5–9千/月）
成长发展
95较高
岗位聚焦大模型推理引擎与云原生AI平台，涉及vLLM、K8s等前沿技术，技术壁垒高，能为求职者提供极高的技术成长与行业竞争力。
技术前沿前沿/新兴技术
技术栈Go、Python、Kubernetes、vLLM、SGLang、TensorRT-LLM、KVCache、Nvidia Dynamo
业务类型ambiguous
工作生活
50较低
JD未明确说明工作模式与加班情况，但大模型核心研发岗通常节奏较快，实习期可能需要投入较多精力跟进项目。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
大模型技术是当前AI领域的核心驱动力，参与推理基础设施建设能直接推动大模型的普及与应用，具有较强的时代使命感与行业前景。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs