阿里巴巴
视频世界模型研发与应用-阿里星
视频世界模型研发与应用-阿里星
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公计算机视觉工程
计算机视觉工程
3D Gaussian Splatting
Nerf
多模态预训练
扩散模型
推理加速
模型蒸馏
自回归
视频世界模型
值不值得投
82综合评分
综合评分 82
阿里星顶尖人才计划，聚焦前沿视频世界模型研发，技术天花板极高、薪资极具竞争力，但工作强度与压力较大。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较职业起点。
薪资怎么样
6万
比计算机视觉工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3390 个在招 · 其中计算机视觉工程 39 个
市场机会
选择面较广
杭州 · 计算机视觉工程 · 79 个在招
职位详情
关于这个职位
该职位负责研发大规模视频世界模型，构建可交互的世界模拟器并落地实际产品
你需要研究AR与Diffusion融合架构、模型推理加速技术，并探索视频生成与3D/4D视觉技术的融合，支撑智能角色行为与复杂任务执行
最低要求
计算机视觉、机器学习、人工智能、计算机图形学、机器人等相关专业硕士及以上学历
具备扎实的数学与理论基础，熟悉概率统计、优化方法、深度学习、三维几何及生成模型相关理论
熟悉3D或4D视觉技术，包括但不限于多视角几何、SLAM、点云处理、三维重建、NeRF、3D Gaussian Splatting、动态场景重建、神经渲染或三维生成
具备丰富的NLP与CV交叉领域积累，理解多模态预训练、跨模态对齐、视觉指令微调及统一理解与生成建模
工作职责
负责研发大规模视频世界模型，构建可持续、可交互、可控制的世界模拟器，落地happy oyster模型产品
研究可规模化的自回归（AR）、扩散（Diffusion）及其融合架构，探索面向流式生成的训练方法，解决长程预测中的误差累积、物理一致性、长期记忆与场景持久性问题
研发面向实时交互的模型蒸馏与推理加速技术，探索少步生成、缓存复用及训练推理协同优化，降低交互响应延迟与生成成本
探索视频生成与 3D／4D 技术路线的融合，提升空间一致性、多视角可控性及物体交互能力，支持可漫游、可编辑、可复用的动态世界构建
研究基于世界模型的规划器，围绕目标理解、任务分解、未来状态推演、候选动作评估与闭环决策，探索规划器与世界模拟器的联合训练及协同推理，支撑智能角色行为、交互叙事、镜头调度与复杂任务执行
AI 洞察
优缺点分析
优点
- 依托丰富的算力与数据资源，能够将前沿算法落地为实际产品（如happy oyster），成就感强
- 阿里星计划提供顶尖的技术氛围、大牛导师指导以及极具竞争力的薪酬回报
- 需要兼顾模型生成效果与实时交互的推理性能，工程落地与系统优化的难度极大
- 适合在计算机视觉、多模态或3D视觉领域有深厚积累，且对前沿AI技术充满热情、渴望做出突破性贡献的顶尖算法人才
缺点 / 挑战
- 参与前沿的视频世界模型研发，技术栈极具前瞻性和挑战性，处于AI行业技术最前沿
- 世界模型和长程预测属于行业级难题，面临误差累积、物理一致性等极高的理论与技术挑战
角色解读
- 从算法研究员成长为世界模型与多模态大模型领域的技术专家或架构师
- 未来可向具身智能、3D内容生成、通用人工智能（AGI）等前沿方向深入发展，引领行业技术突破
- 研发大规模视频世界模型，构建可交互的世界模拟器并落地实际产品
- 研究AR与Diffusion融合架构及流式生成训练方法，解决长程预测中的物理一致性与误差累积问题
- 研发模型蒸馏与推理加速技术，探索视频生成与3D/4D视觉技术的融合，支撑动态世界构建与智能角色行为
- 扎实的数学与深度学习理论基础，熟悉3D/4D视觉技术（如NeRF、3DGS、SLAM、三维重建等）
- 具备NLP与CV交叉领域经验，深入理解多模态预训练、跨模态对齐及统一理解与生成建模
- 掌握模型推理加速、蒸馏及训练推理协同优化技术，具备解决复杂工程落地问题的能力
申请策略
- 了解阿里在视频生成和世界模型方向的最新产品与论文，准备展示自己解决复杂物理一致性和长程预测问题的清晰思路
- 突出在视频生成、3D/4D视觉（NeRF/3DGS）或多模态大模型方面的核心项目、论文成果或开源贡献
- 强调在模型推理加速、蒸馏或流式生成方面的工程优化经验，展示解决实际性能瓶颈的能力
- 展示在NLP与CV交叉领域的积累，如多模态预训练、跨模态对齐或视觉指令微调的实战经验
- 深入学习Diffusion与AR融合架构，关注世界模型在具身智能和3D生成中的最新顶会论文
- 提升大模型推理优化和部署落地的工程能力，熟悉少步生成、缓存复用等加速技术
面试指南
- 采用STAR法则，先阐述问题的技术难点与业务背景，再详细说明你选择的算法架构（如Diffusion/AR融合）及优化策略，最后用具体指标（如延迟降低、生成质量提升、显存占用减少）证明效果
- 如何解决长程预测中的误差累积和物理一致性问题？
- 在视频生成与3D/4D技术融合中，如何提升空间一致性和多视角可控性？
- 针对实时交互场景，你有哪些模型蒸馏与推理加速的实战经验和优化策略？
- 请分享一个你在多模态预训练或跨模态对齐方面做过的最成功的项目，遇到了什么困难？
- 复习3D视觉（NeRF、3DGS）、多模态大模型及视频生成的最新顶会论文，掌握核心算法推导
- 准备手写或讲解推理加速的底层优化细节，以及训练推理协同优化的具体方案
职位点评
薪资福利90
成长发展95
工作生活50
使命价值85
薪资福利
90较高
阿里星计划作为顶尖人才项目，薪资竞争力极强，且上市公司福利体系完善，能极大满足补偿性动机。
薪资信号偏高 (4千–8万/月)
成长发展
95较高
岗位涉及视频世界模型、3D/4D视觉等最前沿AI技术，技术天花板极高，发展性动机得到极大满足。
技术前沿前沿/新兴技术
技术栈视频世界模型、自回归、扩散模型、3D/4D视觉、NeRF、3D Gaussian Splatting、多模态预训练
业务类型ambiguous
工作生活
50较低
JD未提及工作模式和WLB信息，且前沿算法研发岗通常面临较高的项目交付压力，生活化动机满足程度有限。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
探索世界模拟器和动态世界构建，具有推动AI向通用人工智能和具身智能发展的深远意义，意义感动机较强。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs