小红书
大模型MaaS推理系统研发工程师（练习生）
大模型MaaS推理系统研发工程师（练习生）
发布于 2 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
C++/Python
Maas
Sglang
Vllm
分布式系统
大模型推理
异构算力调度
值不值得投
79综合评分
综合评分 79
前沿大模型基建、技术成长极佳、实战资源丰富、工作节奏偏快
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
8.0千
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2220 个在招 · 其中机器学习工程 35 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 550 个在招
职位详情
关于这个职位
负责构建万亿级Token的大模型MaaS推理系统，优化流量调度算法与异构算力调度，评估并接入开源SOTA模型
通过弹性扩展与链路压测保障系统高可用，打造国内领先的AI云服务底座
最低要求
任职要求 1、熟悉业界主流Dense、MOE大模型架构及主要特点，能识别出模型效果及主要使用场景，支持用户大模型的选型和使用需求
了解至少一种大模型服务推理部署框架，如vLLM、SGLang、Dynamo等，并有过大模型服务部署的经验
优秀的代码能力、数据结构和基础算法功底，熟悉C++/Python开发，熟悉 Linux/Git 开发环境
有强烈的工作责任心，较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步
工作职责
核心职责
参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型MaaS服务
探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益
探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统
参与MaaS系统的国产卡适配与异构算力统一调度体系，如华为910C、阿里PPU、昆仑芯P800
参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长
优先资格
加分项
有AI大模型网关相关方向研究或实操经验，如多模型路由、AI负载感知路由等
有大模型推理系统问题排查和优化经验，如推理的RT分析和优化
有国产主力卡型，如华为910C、阿里PPU、昆仑芯P800，性能评测或相关接入经验
AI 洞察
优缺点分析
优点
- 接触行业最前沿的LLM推理技术与万亿级流量实战，技术栈极具市场竞争力
- 依托小红书庞大业务场景，能获得充足的算力资源与真实业务数据验证
- 技术迭代极快，需持续跟进SOTA模型与硬件生态变化
- 适合对AI基础设施有浓厚兴趣、具备扎实编程功底且渴望在前沿大模型领域深耕的技术型求职者
缺点 / 挑战
- 分布式推理系统优化难度极高，需应对复杂的线上故障排查与性能瓶颈
角色解读
- 可向大模型基础设施架构师、AI系统性能优化专家方向发展，或转型为MaaS产品技术负责人，深耕AI算力调度与云原生推理领域
- 负责构建和维护万亿级Token的大模型MaaS推理平台，优化底层推理框架与流量调度策略
- 跟踪并接入最新开源大模型，完成国产异构算力的适配与统一调度
- 通过压力测试与容量规划保障系统高并发下的稳定运行
- 深入理解Dense/MoE大模型架构原理，掌握vLLM/SGLang等主流推理部署框架
- 具备扎实的C++/Python编码能力与数据结构算法基础
- 熟悉Linux开发环境与分布式系统调优
- 随着AIGC商业化落地加速，该方向将向端侧推理、多模态实时生成及跨云算力编排延伸，具备极强的长期职业护城河
申请策略
- 提前了解小红书MaaS业务定位，准备1-2个针对推理延迟优化或算力调度的具体技术方案案例，展现工程落地能力
- 关注公司技术博客与开源贡献记录
- 突出大模型部署实战经历，详细列出使用的推理框架、优化的RT/QPS指标及解决的分布式难题
- 强调C++/Python双语言能力及底层算法功底
- 深入学习vLLM/SGLang源码架构，掌握CUDA编程与GPU性能分析工具
- 补充分布式系统一致性、缓存机制（如Prefix Cache）相关知识
面试指南
- 采用STAR法则结合底层原理：先说明业务背景与目标，再阐述技术选型依据与架构设计，最后用量化指标（如延迟降低XX%、吞吐量提升XX倍）证明效果，并反思可优化点
- 请详细介绍你使用过的推理框架及其优缺点？
- 如何设计一个支持多模型路由的AI网关？
- 面对长上下文请求，如何优化KVCache的内存占用与调度？
- 复习操作系统网络编程与并发模型，梳理常见大模型推理瓶颈（显存墙、计算墙）及对应优化手段
- 模拟手写分布式调度核心逻辑代码，准备项目难点复盘话术
职位点评
薪资福利75
成长发展92
工作生活60
使命价值80
薪资福利
75中等
薪资虽未明确披露，但作为头部互联网大厂实习岗，通常提供具有竞争力的津贴与完善福利，整体补偿水平处于市场中上。
薪资信号未披露（AI估算：6.5–9.0千/月）
成长发展
92较高
职位直接对接行业顶尖的MaaS推理系统与异构算力调度，技术栈前沿且实战性强，能极大加速AI基础设施领域的专业成长。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、Dynamo、C++、Python、MoE、Dense
业务类型profit_center
工作生活
60中等
互联网大厂技术岗通常节奏较快，JD未明确提及弹性工时或远程政策，工作强度可能较高，WLB表现中等。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
致力于构建国内领先的MaaS服务，推动大模型技术普惠与商业化落地，具有显著的行业价值与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs