小红书
大模型MaaS推理系统研发实习生
大模型MaaS推理系统研发实习生
发布于 大约 16 小时前实习/见习
北京市 / 上海市
无经验要求
实习生
仅现场办公
本科
算法优化工程师
Dynamo
Maas
Sglang
Vllm
分布式系统
大模型推理
国产卡适配
AI 估算 · 0k–1k
职位详情
关于这个职位
作为小红书大模型MaaS推理系统研发实习生，你将参与构建国内领先的大模型服务，涉及智能网关、弹性伸缩、推理优化等方向
你将探索负载感知调度算法，跟进开源SOTA模型，并参与国产卡适配，挑战大规模分布式推理系统的稳定性与成本效益
最低要求
熟悉业界主流Dense、MOE大模型架构及主要特点，能识别出模型效果及主要使用场景，支持用户大模型的选型和使用需求
了解至少一种大模型服务推理部署框架，如vLLM、SGLang、Dynamo等，并有过大模型服务部署的经验
优秀的代码能力、数据结构和基础算法功底，熟悉C++/Python开发，熟悉 Linux/Git 开发环境
有强烈的工作责任心，较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步
工作职责
参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型MaaS服务
探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益
探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统
参与MaaS系统的国产卡适配与异构算力统一调度体系，如华为910C、阿里PPU、昆仑芯P800
参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长
优先资格
加分项
有AI大模型网关相关方向研究或实操经验，如多模型路由、AI负载感知路由等
有大模型推理系统问题排查和优化经验，如推理的RT分析和优化
有国产主力卡型，如华为910C、阿里PPU、昆仑芯P800，性能评测或相关接入经验
AI 洞察
优缺点分析
优点
- 公司平台大，资源丰富，有机会接触前沿技术和国产算力适配
- 团队氛围好，鼓励探索新技术，成长空间大
- 对技术深度要求高，需要持续学习最新模型和推理优化技术
- 涉及国产卡适配，可能面临生态不成熟带来的调试困难
缺点 / 挑战
- 参与万亿级Token量系统构建，技术挑战大，能快速积累大模型推理经验
- 工作强度可能较高，需要应对复杂的技术难题和快速迭代
- 适合对大模型推理有浓厚兴趣、技术基础扎实、喜欢挑战的计算机相关专业学生
角色解读
- 从实习生转正为正式员工，深入大模型推理领域，成为技术专家
- 向系统架构师方向发展，负责大规模分布式系统的设计与优化
- 有机会参与前沿技术研究，发表论文或开源项目，提升行业影响力
- 参与构建小红书的大模型MaaS推理系统，包括智能网关、弹性伸缩、推理优化等核心模块
- 探索负载感知的流量调度算法，如基于Prefix Cache命中率、P/D分离等策略，提升系统稳定性和成本效益
- 跟进开源SOTA模型（如Qwen、DeepSeek），评估并上架到MaaS平台，支持用户选型
- 参与国产卡适配与异构算力调度，如华为910C、阿里PPU等，优化推理性能
- 熟悉主流Dense和MOE大模型架构，了解其特点和应用场景
- 掌握至少一种推理部署框架（如vLLM、SGLang、Dynamo），有实际部署经验
- 扎实的编程能力，熟悉C++/Python，了解Linux/Git开发环境
- 具备良好的学习能力和自驱力，能够探索新技术并协作解决问题
申请策略
- 在简历中明确表达对MaaS和推理系统的热情，以及长期发展的意愿
- 面试前了解小红书的技术栈和业务方向，准备相关案例
- 突出大模型部署或推理优化的项目经验，如使用vLLM或SGLang的实践
- 强调编程能力，展示C++/Python的熟练度，以及数据结构和算法功底
- 如果有国产卡适配或性能调优经历，务必提及
- 展示对开源模型的了解，如Qwen、DeepSeek的架构特点
- 深入学习vLLM、SGLang等推理框架的源码，理解其优化原理
- 了解Kubernetes和弹性伸缩机制，为系统设计打基础
面试指南
- 使用STAR法则：情境、任务、行动、结果，清晰描述项目经历
- 对于技术问题，先阐述原理，再结合实践案例，最后总结优化效果
- 对于开放性问题，展现思考过程，提出多种方案并比较优劣
- 请介绍你使用vLLM或SGLang部署大模型的经历，遇到了哪些问题？
- 如何优化大模型推理的延迟和吞吐量？
- 你对负载感知调度算法有什么理解？
- 如何评估一个新模型是否适合上架到MaaS平台？
- 你对国产AI芯片（如华为910C）的适配有什么经验？
职位点评
76
综合评分
大厂实习，前沿技术，成长空间大，但工作地点固定，WLB未知。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
更适合这类人
适合追求技术成长、对前沿AI技术充满热情、能接受现场办公的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展95
工作生活50
使命价值80
薪资福利
70中等
实习薪资具有竞争力，但未提及福利，整体补偿性中等。
薪资信号未披露（AI估算：0K-0K/月）
成长发展
95较高
岗位涉及前沿大模型推理技术，技术挑战大，成长空间极高。
技术前沿前沿/新兴技术
技术栈大模型推理、vLLM、SGLang、Dynamo、Kubernetes、国产卡适配
业务类型profit_center
工作生活
50较低
工作地点在北京或上海，现场办公，未提及弹性工作，生活化满足一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
参与构建国内领先的MaaS服务，推动AI技术落地，具有较高意义感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs