小红书
【2027校招】多模态基础模型算法工程师
【2027校招】多模态基础模型算法工程师
发布于 大约 8 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Deepspeed
Megatron-Lm
Pytorch
Rlhf
分布式训练
多模态大模型
强化学习
视觉语言模型
视频理解
值不值得投
75综合评分
综合评分 75
前沿AI技术岗位，技术成长空间巨大，但办公模式未知、工作挑战极高。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
20K
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1360 个在招 · 其中人工智能 8 个
市场机会
选择面较广
北京 · 人工智能 · 约 370 个在招
职位详情
关于这个职位
该职位面向2027届校招毕业生，负责构建小红书下一代多模态智能基座的“感知-推理-交互”全链路能力
你将参与从持续预训练到在线策略蒸馏的全流程模型训练与架构演进，并将技术成果应用于点点、搜索、广告、推荐、电商、智能创作等多个核心业务场景
最低要求
本科及以上学历，计算机、人工智能、数学等相关专业
深入理解 Transformer 架构与大模型训练全流程（CPT / Mid-train / SFT / RL / OPD），熟悉主流 VLM 架构（如 LLaVA、Qwen-VL、InternVL 等）
在大规模预训练、CPT、Mid-training、SFT、RL、在线策略蒸馏（OPD / MOPD）、MLLM 推理优化、视觉对齐或视频理解等方向有深入研究或落地经验
精通 PyTorch，熟悉 Megatron-LM、DeepSpeed 等分布式训练框架，具备百亿/千亿级参数模型的大规模训练经验，熟悉 veRL、OpenRLHF 者优先
对多模态数据的构建、清洗及 Data Mixing 策略有独特见解，理解各训练阶段的数据需求差异
熟悉主流多模态评测集，能构建垂直领域 Benchmark，并以评测结果反向驱动数据与算法迭代
工作职责
CPT & Mid-training：负责 VLM 的持续预训练与中期训练，注入垂域知识、缓解灾难性遗忘，通过原生分辨率、长上下文扩展与数据配比（Data Mixing）夯实模型基础能力
SFT & Alignment：负责 VLM 的 SFT 与高质量多模态指令数据构建，治理模型幻觉，提升指令遵循鲁棒性
Reasoning & RL：主导 VLM 的强化学习流程，并构建多模态 Reward Model，探索 Long-thought 推理范式，提升复杂视觉、数学、逻辑及长视频序列下的深度推理能力
OPD & MOPD：在 RL 之后引入在线策略蒸馏，与多专家在线策略蒸馏，将多个专家模型能力高效融合蒸馏至统一基座，兼顾多任务能力与推理效率
超长视频理解：研发高效的长视频编码、视觉 Token 压缩与时空注意力机制，优化多帧推理效率，挖掘视频与直播流的时序及交互语义
多模态 Agent：研发具备视觉反馈与自我修正能力的智能体，构建 VLM 工具调用与任务规划、执行、验证闭环
优先资格
在 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、ACL 等顶会发表过高影响力论文，或在知名开源多模态项目中有核心贡献
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与大模型核心算法的研发，处于AI技术浪潮的中心，技术成长天花板极高
- 业务价值明确：模型能力直接赋能搜索、推荐、商业化等核心业务，成果可见且影响力大
- 平台资源：作为超大型企业，能提供充足的数据、算力和工程资源支持大规模模型训练
- 技术难度极高：涉及模型训练的全流程和前沿方向（如RL、蒸馏），对个人技术深度和广度要求极高
- 学习曲线陡峭：需要快速掌握并整合预训练、微调、强化学习、分布式系统等多个复杂领域的知识
- 责任重大：作为基础模型团队成员，其工作质量直接影响到下游众多业务场景的效果和用户体验
- 适合对大模型技术有执着热情、具备扎实算法基础和强大工程落地能力、乐于攻克顶尖技术难题并乐见其技术被广泛应用的计算机相关专业应届硕士或博士生
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术专家路径：持续深耕多模态大模型某一方向（如RL对齐、视频理解），成为该领域的顶级技术专家或科学家
- 技术管理路径：积累经验后，可带领团队负责更大规模的模型研发或特定业务线的AI技术规划
- 学术产业路径：在工业界实践中积累丰富经验，持续产出高水平研究成果，成为连接学术界与产业界的桥梁
- 主导或深度参与多模态大模型从预训练到应用的全生命周期开发，构建模型的感知、推理和交互能力
- 专注于模型在特定训练阶段的技术突破，如持续预训练知识注入、强化学习对齐、长视频理解及在线策略蒸馏
- 将前沿的多模态AI技术与小红书的搜索、推荐、电商、创作等具体业务场景结合，解决实际问题
- 扎实的深度学习理论基础，特别是对Transformer架构和大模型训练流程（CPT/SFT/RL等）有深入理解
- 精通PyTorch等主流深度学习框架，并具备使用Megatron-LM、DeepSpeed等进行大规模分布式训练的工程经验
- 对多模态数据（图像、文本、视频）的处理、构建和模型训练有实践经验，熟悉相关评测标准
申请策略
- 在申请时，准备一份针对该岗位的陈述，清晰说明你对多模态大模型某个具体方向的理解、遇到的挑战以及你的解决方案
- 深入研究小红书的业务形态，思考多模态大模型技术如何具体应用在其内容理解、推荐或创作等场景中，展现你的业务洞察力
- 突出在多模态、大模型相关方向的科研或项目经历，尤其是涉及预训练、SFT、RL等环节的具体工作和成果
- 详细描述使用PyTorch、DeepSpeed等工具进行大规模分布式训练的实践经验，包括模型规模、集群规模等具体信息
- 展示对相关顶会论文的理解和复现能力，或参与知名开源项目的具体贡献
- 系统性地回顾和深化对Transformer、大模型训练流程、强化学习（特别是RLHF/DPO）等核心理论知识的理解
- 动手实践，尝试复现或改进如LLaVA、InternVL等主流VLM的代码，并在其基础上进行小规模实验
- 关注最新的多模态大模型技术报告和顶会论文，深入理解其中的关键创新点和工程挑战
面试指南
- 对于技术原理问题（如训练流程、RL），采用“定义概念 -> 核心技术点 -> 实践中的挑战与优化”的结构回答，结合你的项目或论文经验
- 对于系统设计类问题（如视频理解），先提出整体架构，再分模块阐述核心算法和技术选型，并讨论可能的权衡
- 对于经验类问题，使用STAR法则，重点描述你独立思考、解决复杂技术难题的过程和量化成果
- 请详细描述一个多模态大模型从预训练到部署的全流程，以及每个阶段的关键技术点
- 在SFT阶段，如何构建高质量的多模态指令数据？如何治理模型幻觉？
- 强化学习如何应用于大模型对齐？相比于SFT，RL的优势和挑战是什么？
- 如何设计一个高效的超长视频理解方案？考虑哪些压缩和注意力机制？
- 介绍一个你参与过的、涉及大规模分布式训练的项目，遇到的最大技术挑战及解决方案
职位点评
薪资福利65
成长发展95
工作生活50
使命价值80
薪资福利
65中等
作为超大型企业的校招岗位，薪酬福利应具备市场竞争力，且稳定性较高。
薪资信号未披露（AI估算：15K-25K/月）
成长发展
95较高
该职位处于多模态AI技术的最前沿，要求深度的技术积累和持续创新，对个人技能成长和职业发展有极强的促进作用。
技术前沿前沿/新兴技术
技术栈多模态大模型、VLM、CPT、SFT、RL、RLHF、在线策略蒸馏、长视频理解、多模态Agent
业务类型profit_center
工作生活
50较低
办公模式未明确提及，考虑到涉及大规模模型训练，可能需要现场办公。作为前沿技术研发岗位，工作节奏和压力可能较大。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
参与构建下一代AI基础模型，技术成果能直接赋能海量用户的社交内容体验，具有较强的技术使命感和社会影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号定义小红书下一代多模态智能基座、赋能...业务场景
创新程度积极采用新技术
Watch Jobs