小红书
大模型MaaS推理系统研发工程师（练习生）
大模型MaaS推理系统研发工程师（练习生）
发布于 2 小时前实习/见习
实习生仅现场办公后端开发
后端开发
Maas
Sglang
Vllm
分布式推理
大模型
异构算力
弹性伸缩
流量调度
值不值得投
80综合评分
综合评分 80
核心AI基础设施实习岗，技术栈前沿且极具挑战，成长空间巨大，适合追求技术深度的优秀在校生。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
9千
与后端开发中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2090 个在招 · 其中后端开发 27 个
市场机会
选择面较广
北京 · 后端开发 · 约 380 个在招
职位详情
关于这个职位
该职位是小红书大模型MaaS推理系统研发实习生，主要参与万亿级Token量推理系统的构建与优化，包括智能网关、弹性伸缩及流量调度算法探索
你将接触业界前沿的SOTA模型评估、国产卡适配及大规模分布式推理挑战，助力打造国内领先的大模型MaaS服务
最低要求
熟悉业界主流Dense、MOE大模型架构及主要特点，能识别出模型效果及主要使用场景，支持用户大模型的选型和使用需求
了解至少一种大模型服务推理部署框架，如vLLM、SGLang、Dynamo等，并有过大模型服务部署的经验
优秀的代码能力、数据结构和基础算法功底，熟悉C++/Python开发，熟悉 Linux/Git 开发环境
有强烈的工作责任心，较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步
工作职责
参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型MaaS服务
探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益
探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统
参与MaaS系统的国产卡适配与异构算力统一调度体系，如华为910C、阿里PPU、昆仑芯P800
参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长
优先资格
有AI大模型网关相关方向研究或实操经验，如多模型路由、AI负载感知路由等
有大模型推理系统问题排查和优化经验，如推理的RT分析和优化
有国产主力卡型，如华为910C、阿里PPU、昆仑芯P800，性能评测或相关接入经验
AI 洞察
优缺点分析
优点
- 深入大模型MaaS、异构算力调度等前沿领域，积累稀缺的AI基础设施经验
- 作为超大型企业的核心研发岗，能提供丰富的算力资源和完善的工程实践体系
- 业务增长迅速，系统需支撑海量并发，对系统的稳定性和性能优化要求极高
- 适合对大模型底层系统、AI基础设施有浓厚兴趣，且具备扎实后端与算法功底的计算机相关专业在校生
缺点 / 挑战
- 接触国内顶尖的万亿级Token大模型推理场景，技术挑战大，成长空间广阔
- 大模型推理系统涉及底层硬件适配与复杂分布式调度，技术门槛和学习曲线较高
角色解读
- 从推理系统研发实习生成长为大模型基础设施领域的核心工程师
- 未来可向大模型系统架构师、AI平台技术专家或MaaS产品技术负责人方向发展
- 参与构建和优化万亿级Token量的大模型MaaS推理系统，包括智能网关和弹性伸缩机制
- 探索并实现负载感知的流量调度算法，提升系统稳定性和成本效益
- 跟进评估业界开源SOTA模型，并参与国产算力卡的适配与异构调度
- 熟悉Dense、MOE大模型架构，了解vLLM、SGLang等推理部署框架
- 具备扎实的C++/Python编程能力、数据结构与算法基础
- 熟悉Linux/Git开发环境，具备分布式系统或高并发系统开发经验
申请策略
- 在简历或面试中展现对大模型前沿技术（如Qwen、DeepSeek）的关注和独立思考
- 强调自己的自驱力、学习能力以及解决复杂系统问题的责任心
- 突出在C++/Python、数据结构与算法方面的扎实基础，以及Linux环境下的开发经验
- 详细列出参与过的大模型部署、推理优化或分布式系统相关的项目经历
- 若有vLLM、SGLang等框架的使用经验，或国产算力卡适配经验，务必重点展示
- 提前学习vLLM、SGLang等主流大模型推理框架的源码和部署实践
- 了解MOE模型架构原理及Prefix Cache、P/D分离等推理优化技术
面试指南
- STAR法则：针对系统优化或问题排查问题，按情境、任务、行动、结果的结构回答
- 原理+实践：回答技术问题时，先阐述底层原理（如KVCache机制），再结合具体框架或项目说明实践应用
- 请介绍你了解的大模型推理部署框架（如vLLM），它们的核心优化点是什么？
- 在分布式推理系统中，如何进行流量调度以提升KVCache命中率？
- C++/Python混合编程时，如何处理内存管理和性能瓶颈？
- 如果推理系统的RT（响应时间）突然升高，你会如何排查和优化？
- 请谈谈你对MOE模型架构的理解，以及它在推理时的特点
- 复习大模型推理优化的核心概念，如PagedAttention、Prefix Cache、Continuous Batching等
职位点评
薪资福利75
成长发展95
工作生活60
使命价值85
薪资福利
75中等
作为核心AI研发实习岗，实习薪资处于市场较高水平，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：6千–1.2万/月）
成长发展
95较高
岗位深入大模型MaaS、异构算力调度等最前沿的AI基础设施领域，技术栈极具前瞻性和挑战性，对个人技术成长有极大帮助。
技术前沿前沿/新兴技术
技术栈大模型、MaaS、vLLM、SGLang、Dynamo、C++、Python、MOE、Prefix Cache、P/D分离、KVCache、异构算力
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与WLB相关信息，但作为核心研发实习岗，通常需遵循公司标准工时，具体工作强度需视团队业务节奏而定。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
85较高
参与打造国内领先的大模型MaaS服务，支撑业务飞速增长，处于AI高速增长赛道，具有较强的技术使命感与行业前景。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs