阿里巴巴
算法工程师-数据算法（多模态生成方向）
算法工程师-数据算法（多模态生成方向）
发布于 大约 4 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Clip/Vlm
Diffusion
Dit
Flow Matching
Pytorch
Sft
分布式训练
多模态生成
数据算法
值不值得投
77综合评分
综合评分 77
AIGC视频生成核心数据算法岗，技术前沿成长快，薪资有竞争力，但工作强度和WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2480 个在招 · 其中人工智能 约 160 个
市场机会
选择面较广
杭州 · 人工智能 · 约 190 个在招
职位详情
关于这个职位
该岗位负责为多模态生成模型（特别是视频生成）构建高效、精准的数据算法体系
核心工作包括设计多模态数据对齐方案、开发数据筛选与合成算法、构建高精度视频描述体系，并建立从数据到模型效果的闭环评估迭代机制
目标是确保模型训练各阶段都能获得高质量、结构化的数据支持
最低要求
计算机、人工智能、数学等相关专业硕士及以上学历，1 年以上多模态/生成模型相关经验
具备扎实的多模态理解与生成技术基础，熟悉主流视频生成模型架构（DiT、Diffusion/Flow Matching、VAE、CLIP/VLM 对齐等）
具备高质量多模态数据构建能力，包括大规模数据清洗、增强、合成与标注体系设计，有 TB/PB 级视频数据处理流水线经验优先
熟练掌握多模态大模型相关的后训练技术（SFT、DPO、Flow-GRPO 等）
具备从数据到算法闭环迭代的能力，能设计并实现多维度评测体系，结合自动指标与人工评估，定义数据质量标准并推动模型效果持续提升
扎实的工程能力，熟练掌握PyTorch开发、有Pytorch分布式训练经验
具备出色的分析问题和解决问题的能力，能够独立领导技术方向的探索和攻坚
对视觉艺术有良好的审美感知，能理解并拆解业务场景下的内容需求
工作职责
多模态数据体系构建：负责视频生成模型全阶段训练（预训练、SFT、后训练/RL）所需多模态数据对齐的算法建设，构建面向垂类场景的高质量、结构化的多模态对齐数据体系
数据筛选与合成算法：设计并落地从海量多模态数据中筛选/合成高价值数据的算法链路，包括音视频质量评估、美学打分、运动分析、时序切分、去重与分布均衡等
视频描述与对齐算法：构建高精度视频 Caption 体系（密集描述、结构化标签、时序事件描述），持续提升文本-视频对齐质量与粒度
数据-算法闭环：建立数据质量与模型效果的评估归因体系，结合业务需求推动"数据构建 → 模型训练 → 效果评估 → 数据迭代"的闭环持续优化
优先资格
在 CVPR/ICCV/NeurIPS/ICML 等顶会发表过多模态生成相关论文
主导或深度参与过知名AIGC项目者优先;
AI 洞察
优缺点分析
优点
- 聚焦当前AI最前沿、最火热的AIGC（多模态生成）方向，技术成长空间大
- 能接触并处理业界顶级规模（TB/PB级）的多模态数据，积累宝贵的工程与算法经验
- 岗位职责核心，直接参与模型效果提升的关键环节，对技术成果有直接影响
- 在知名科技巨头平台工作，拥有丰富的技术资源和行业影响力
- 处理海量多模态数据对工程能力要求极高，需要解决复杂的系统性能与数据质量问题
- 岗位要求从数据到模型的闭环能力，需要同时具备算法思维和扎实的工程落地能力，综合要求高
缺点 / 挑战
- 多模态生成模型迭代迅速，需要持续学习和跟进最新的技术论文与模型架构，学习压力大
- 适合对多模态AI有浓厚兴趣，兼具扎实算法功底与强大工程实现能力，能够耐受复杂技术挑战并享受从数据驱动模型优化全过程的求职者
角色解读
- 纵向深耕：成为多模态生成或数据智能领域的技术专家，引领更复杂的算法架构设计与数据体系建设
- 横向拓展：向模型训练全流程、多模态模型架构设计或AIGC产品化方向发展
- 管理路径：凭借出色的技术领导力和项目推动力，转向技术团队管理岗位
- 构建多模态生成模型（特别是视频生成）训练所需的高质量数据体系，确保数据对齐、结构化
- 设计并实现算法，从海量数据中筛选和合成高价值训练数据，包括质量评估、美学打分等
- 开发和维护高精度的视频描述与对齐算法，提升文本与视频内容的匹配质量
- 建立从数据质量到模型效果的评估闭环，通过数据分析驱动模型持续优化迭代
- 深入的多模态理解与生成模型技术背景，特别是对DiT、Diffusion、Flow Matching等主流架构的熟悉
- 大规模多模态数据（尤其是视频）的清洗、处理、增强与标注体系设计能力，熟悉TB/PB级数据流水线
- 熟练的PyTorch工程能力，具备分布式模型训练和复杂算法链路落地经验
- 强大的分析和问题解决能力，能独立攻坚，并对视觉艺术有一定审美感知
申请策略
- 仔细研究阿里巴巴在多模态生成和AIGC领域的公开研究成果和产品（如通义万相），在面试中展示你对业务的理解
- 准备一个清晰的项目复盘，讲述你如何处理一个复杂的数据或模型问题，并推动效果提升的完整故事
- 突出1年以上多模态生成模型相关经验，重点描述参与的生成模型项目（如视频生成、图文生成等）及个人具体贡献
- 详细展示处理大规模多模态（特别是视频）数据的经验，包括数据流水线设计、数据清洗/合成算法等，最好有TB/PB级项目经验
- 列举熟练掌握的后训练技术（SFT、DPO等）和PyTorch分布式训练的具体实践案例
- 强调对CVPR/ICCV等顶会论文的阅读或发表经历，以及主导或参与的知名AIGC项目
- 深入研读最新的多模态生成论文，特别是视频生成（如Sora相关技术分析）和数据对齐方向
- 通过开源项目或个人实践，强化在大规模数据处理、视频质量评估、CLIP/VLM对齐等方面的算法设计与工程能力
面试指南
- 使用STAR法则（Situation, Task, Action, Result）来结构化讲述过往项目经验，突出技术决策和个人贡献
- 回答技术设计问题时，先明确目标和约束条件，再阐述技术选型和实现路径，最后说明预期效果或衡量指标
- 展示深度思考：不仅描述“是什么”，更要解释“为什么”这样设计，权衡过哪些方案，最终选择的原因是什么
- 请介绍一个你主导或深度参与的多模态生成模型项目，你在其中负责哪些部分？遇到了哪些关键挑战，如何解决的？
- 如何构建一个高质量的视频 Caption 体系？请描述你的设计思路和技术选型
- 面对海量且质量参差不齐的视频数据，你会设计怎样的算法链路来筛选和合成高价值数据？
- 如何评估多模态数据质量与模型效果之间的关系？请设计一个评估归因体系
- 你如何看待 DiT、Diffusion 和 Flow Matching 等架构在视频生成中的优劣？结合实际应用谈谈
职位点评
薪资福利75
成长发展95
工作生活50
使命价值85
薪资福利
75中等
该职位属于前沿AI算法岗，在杭州市场具有较强竞争力。作为跨国巨头企业，能提供有吸引力的薪酬和福利体系。
薪资信号偏高 (25K-45K/月)
成长发展
95较高
该职位是典型的技术深度与业务影响并重的岗位，在AIGC最前沿领域工作，技术挑战大，成长空间广阔，能快速积累顶级多模态AI的实战经验。
技术前沿前沿/新兴技术
技术栈多模态生成、视频生成、DiT、Diffusion、Flow Matching、SFT、DPO、Flow-GRPO、CLIP/VLM、PyTorch
业务类型ambiguous
工作生活
50较低
职位描述未明确提及工作模式、加班情况或WLB相关信息。作为高强度研发岗位，可能需要应对紧急项目或高强度工作节奏。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
该职位在推动AIGC视频生成这一具有巨大创新潜力和社会价值的领域，技术本身具有很强的开创性和前沿性。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs