阿里巴巴
LLM 推理系统研发实习生（推理缓存方向）
LLM 推理系统研发实习生（推理缓存方向）
发布于 1 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Go
Gpu编程
Kvcache
Sglang
Vllm
分布式系统
大模型推理
性能优化
值不值得投
76综合评分
综合评分 76
头部公司大模型推理底层研发实习，前沿技术栈、成长空间极大，WLB未明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
7千
与人工智能中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3520 个在招 · 其中人工智能 约 360 个
市场机会
选择面较广
杭州 · 人工智能 · 约 430 个在招
职位详情
关于这个职位
该职位主要负责大模型推理场景下KVCache资源管控系统的研发，包括缓存复用、淘汰策略及与主流推理引擎的集成
你需要参与性能测试与可观测性建设，优化长上下文和高并发场景下的性能瓶颈，提升GPU集群资源利用率
最低要求
计算机、软件工程或相关专业在校生，对大模型推理基础设施、分布式系统或高性能计算有兴趣
熟悉 C++ / Go / Python 中至少一种编程语言，具备良好的数据结构、算法、操作系统与计算机网络基础，能够在 Linux 环境下进行开发和调试
了解缓存、并发编程、RPC 或分布式系统的基本原理，有课程项目、科研项目、开源项目或实习开发经验
具备良好的学习能力、问题分析能力与沟通协作能力，能够在指导下完成模块开发、测试与问题定位
每周可实习 3 天及以上，连续实习 6 个月及以上
可长期实习者优先
工作职责
参与大模型推理场景下 KVCache 资源管控系统的研发，协助建设资源管理、配额控制、生命周期管理与调度能力，提升 GPU 集群资源利用率与服务稳定性
参与 KVCache 缓存复用、淘汰、预取与分层存储等策略的开发和实验，探索 GPU 显存、CPU 内存及 SSD 之间的数据管理与迁移优化
参与 KVCache 管控系统与 vLLM / SGLang 等主流推理引擎的集成，完成元数据管理、资源上报与控制接口等模块的开发与测试
参与性能测试与可观测性建设，分析缓存命中率、显存占用、首 Token 延迟、生成速度及吞吐等指标，协助定位并优化长上下文、高并发场景下的性能瓶颈
优先资格
了解 LLM 推理流程及 KVCache 基本原理，使用或研究过 vLLM / SGLang / TensorRT-LLM / RTP-LLM / Mooncake 等项目
有缓存或存储系统、GPU 编程、资源调度相关实践，或有 Kubernetes / Ray 等项目使用与开发经验
有性能分析、压测或监控建设经验，使用过 Linux 性能工具、Prometheus / Grafana 等
善于使用 Qoder / Codex / Claude Code 等 AI 编程工具，有将 AI 融入编码、调试、测试与优化流程的具体实践，能够理解并验证生成代码的正确性
AI 洞察
优缺点分析
优点
- 接触大模型推理最前沿的KVCache优化技术，技术壁垒高
- 依托真实的规模化GPU集群场景，能积累宝贵的高并发与性能调优经验
- 有机会参与vLLM等开源生态的集成，提升行业技术影响力
- 大模型推理系统底层逻辑复杂，对操作系统和计算机体系结构基础要求极高
- 适合对AI底层系统、高性能计算有浓厚兴趣，且具备扎实C++/系统编程基础的在校生
缺点 / 挑战
- 性能优化和瓶颈定位难度大，需要较强的问题分析与排查能力
角色解读
- 从实习生成长为AI基础设施领域的系统研发工程师
- 深入大模型推理优化方向，未来可向AI系统架构师或高性能计算专家发展
- 参与大模型推理场景下KVCache资源管控系统的研发，提升GPU集群资源利用率
- 开发缓存复用、淘汰及分层存储策略，优化GPU显存与CPU内存间的数据迁移
- 将管控系统与vLLM等主流推理引擎集成，并进行性能测试与可观测性建设
- 熟练掌握C++/Go/Python至少一种语言，具备扎实的操作系统与计算机网络基础
- 了解分布式系统、缓存机制及并发编程原理，能在Linux环境下开发调试
- 具备大模型推理基础设施或高性能计算的相关项目或科研经验
申请策略
- 在简历或面试中展示使用AI编程工具（如Claude Code）提升开发效率的具体案例，这是JD明确提到的加分项
- 突出C++/Go/Python的系统级开发经验，特别是Linux环境下的调试与性能优化
- 详细描写与分布式系统、缓存、存储或GPU编程相关的项目/科研经历
- 展示对vLLM、SGLang等推理引擎的源码阅读或二次开发经验
- 深入学习KVCache原理及大模型推理流程，动手跑通vLLM或SGLang的本地部署
- 补充Linux性能分析工具（如perf、eBPF）及Prometheus/Grafana监控体系的使用经验
面试指南
- STAR法则：针对项目经历，清晰阐述背景、任务、行动和结果，重点突出性能提升的具体指标
- 底层原理+工程实践：回答技术问题时，先阐述底层机制（如显存管理、RPC原理），再结合具体代码或工具说明落地方案
- 请简述KVCache在大模型推理中的作用，以及常见的缓存淘汰策略有哪些？
- 在分布式系统中，如何保证缓存的一致性与高可用？
- 如果首Token延迟过高，你会从哪些维度进行排查和优化？
- 请介绍一个你使用C++/Go进行性能优化或解决复杂系统问题的项目经历
- 提前阅读vLLM或SGLang的官方文档与核心源码，理解其KVCache管理机制
- 复习操作系统（内存管理、并发同步）和计算机网络（RPC、网络IO）的核心知识点
职位点评
薪资福利65
成长发展95
工作生活50
使命价值85
薪资福利
65中等
作为实习生岗位，薪资按日薪折算，处于一线城市实习生津贴的合理区间，能满足基本生活需求。
薪资信号未披露（AI估算：4.35–8.7千/月）
成长发展
95较高
岗位聚焦大模型推理底层系统，涉及KVCache、GPU显存管理等前沿技术，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈C++、Go、Python、KVCache、vLLM、SGLang、GPU编程、分布式系统
业务类型ambiguous
工作生活
50较低
职位描述未明确说明工作模式与加班情况，但系统研发与性能调优岗位通常需要投入较多精力。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与大模型推理基础设施建设，直接推动人工智能技术的落地与普及，具有较高的行业使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs