小红书
【REDstar】流式视频理解算法工程师
【REDstar】流式视频理解算法工程师
发布于 1 分钟内普通员工/个人贡献者
全职员工仅现场办公计算机视觉工程
计算机视觉工程
Mllm
Pytorch
Rlhf
Videollm
分布式训练
流式推理
视频理解
Kv Cache优化
值不值得投
71综合评分
综合评分 71
前沿技术、高成长性、薪资优厚，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
55K
比计算机视觉工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2750 个在招
市场机会
选择面较广
上海 · 计算机视觉工程 · 80 个在招
职位详情
关于这个职位
该职位负责小红书流式视频大模型的前沿研究与落地，核心是让模型从"看完再回答"进化为"边看边理解、实时响应"
你将参与流式推理架构设计、视频内容理解（高光识别、场景分类等）、智能切片以及端到端推理优化，并推动相关能力接入直播封面、运营挖掘工具等产品链路
适合对视频理解、多模态大模型和高效推理有深入研究兴趣的算法工程师
最低要求
本科及以上学历，计算机、电子工程、自动化等相关专业
扎实的深度学习基础，熟悉 Transformer 架构、注意力机制、位置编码等核心技术
熟练掌握 PyTorch，具备独立复现/改进论文的能力
良好的代码工程能力，有大规模分布式训练经验优先
专业方向（满足其中一项即可）： 1、有视频理解相关研究或工程经验（VideoLLM、MLLM、Video QA、时序建模等），能独立跟进前沿工作
有长上下文/高效推理相关经验（KV Cache 优化、序列并行、量化、蒸馏等）
有在线视频理解或流式系统相关经验，了解实时推理系统架构设计
工作职责
流式理解核心研究： 1、跟踪流式视频理解领域最新进展，输出技术洞察，探索适合业务场景的创新方案
设计高效的流式推理架构，包括记忆压缩模块、时序建模与位置编码方案
构建流式视频训练数据集与训练框架，探索离线到在线的课程学习范式
视频内容理解落地： 4、研发视频内容理解模型：画质和美学可归因评价、高光识别、场景分类、精彩度评分、人物/物体语义理解
实现智能切片能力：从直播流/点播视频中自动定位高光片段，支持实时和离线两种模式
将内容理解能力接入产品链路，包括直播封面、运营挖掘工具、创作者笔记诊断报告等
评测与工程： 7、构建流式视频评测体系，与人工标注对比，持续提升模型精度
优化端到端推理延迟、显存占用和吞吐量，满足实时性要求
优先资格
在 CVPR、ICCV、NeurIPS、ICLR、ECCV、AAAI 等顶会发表过相关论文，有一作或重要贡献者优先
有直播/视频平台内容理解落地经验（高光识别、精华切片、封面生成等具体场景）
了解视频编解码基础（I/P/B 帧、码率、分辨率），能理解多媒体系统上下文
熟悉 RL/RLHF 在多模态模型上的应用
AI 洞察
优缺点分析
优点
- 前沿技术方向，流式视频大模型是当前 AI 领域的热点，技术积累价值高
- 业务落地场景丰富，能直接看到算法对产品的影响
- 公司平台大，资源充足，有顶会论文发表机会
- 技术难度高，需要同时掌握视频理解、高效推理和系统优化，学习曲线陡峭
- 竞争激烈，需要持续跟进前沿研究，保持技术领先
- 适合对视频理解、多模态大模型有浓厚兴趣，具备扎实深度学习基础和较强工程能力的研究型工程师
缺点 / 挑战
- 实时性要求高，对工程能力有较大挑战
角色解读
- 从算法工程师成长为流式视频理解领域的专家，主导核心算法方向
- 有机会晋升为技术负责人，带领团队探索前沿课题并推动业务落地
- 可向多模态大模型、实时推理系统等更广泛领域发展
- 负责流式视频大模型的核心算法研究，包括流式推理架构设计、记忆压缩、时序建模等，推动模型从离线到在线进化
- 研发视频内容理解模型，如画质评价、高光识别、场景分类、精彩度评分等，并实现智能切片能力
- 将内容理解能力落地到产品链路，如直播封面、运营挖掘工具、创作者笔记诊断报告等，并优化推理延迟与显存占用
- 扎实的深度学习基础，熟悉 Transformer、注意力机制、位置编码等核心技术
- 熟练掌握 PyTorch，具备独立复现/改进论文的能力
- 有视频理解（VideoLLM、MLLM）、长上下文/高效推理（KV Cache、量化）或流式系统相关经验
申请策略
- 关注小红书在视频和 AI 方向的业务布局，了解其产品生态
- 准备一个完整的流式视频理解项目案例，展示从研究到落地的能力
- 突出视频理解、多模态模型相关项目经验，如 VideoLLM、MLLM 等
- 强调高效推理经验，如 KV Cache 优化、量化、蒸馏等
- 展示论文发表或重要贡献，尤其是顶会一作
- 深入学习流式推理架构和长上下文建模
- 补充视频编解码基础，了解多媒体系统
- 熟悉 RL/RLHF 在多模态模型上的应用
面试指南
- 先阐述核心思路，再结合具体技术细节，最后说明业务价值
- 强调对前沿技术的理解，并展示实际项目经验
- 准备一个完整的项目案例，从问题定义、方案设计到效果评估
- 如何设计一个高效的流式视频推理架构？
- 如何优化 KV Cache 以降低长视频推理的显存占用？
- 如何构建流式视频训练数据集？
- 如何评价视频的精彩度？
- 如何将流式视频理解能力落地到直播场景？
职位点评
薪资福利75
成长发展90
工作生活40
使命价值70
薪资福利
75中等
该职位薪资水平较高，且公司为大型平台，福利待遇较好，但具体薪资未在 JD 中明确，需面议。
薪资信号面议 (40K-70K/月)
成长发展
90较高
该职位处于技术前沿，涉及流式视频大模型等新兴领域，技能成长空间大，且有明确的业务落地场景。
技术前沿前沿/新兴技术
技术栈VideoLLM、MLLM、流式推理、KV Cache、RLHF
业务类型profit_center
工作生活
40较低
职位要求现场办公，且涉及实时系统优化，可能工作强度较大，但未明确提及加班情况。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
该职位推动视频理解技术从离线走向在线，对内容生态有积极影响，但社会影响力相对中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
Watch Jobs