阿里巴巴
千问办公-视觉Agent 算法专家-杭州
千问办公-视觉Agent 算法专家-杭州
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公计算机视觉工程
计算机视觉工程
Agent开发
Pytorch
Rag
Sft/Rlhf
多模态大模型
视频理解
计算机视觉
值不值得投
77综合评分
综合评分 77
前沿多模态AI技术高地、高薪专家岗、技术成长极佳、工作强度可能较大
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
7.0万
比计算机视觉工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 4530 个在招 · 其中计算机视觉工程 48 个
市场机会
选择面较广
杭州 · 计算机视觉工程 · 75 个在招
职位详情
关于这个职位
该职位负责研发面向真实业务场景的视频分析Agent算法，构建具备感知、记忆、规划与推理能力的多模态智能系统
核心工作涵盖实时视频理解、离线长视频复杂任务分析、大模型后训练（SFT/RLHF）及工具调用体系构建，旨在提升模型在工业质检、巡检等垂直场景中的准确率与落地能力
最低要求
计算机、人工智能、模式识别、自动化等相关专业，本科及以上，具备扎实的机器学习/深度学习基础
熟悉计算机视觉与视频理解核心方向，具备检测、分割、跟踪、动作识别、时序建模、事件分析等相关经验
熟悉 VLM/MLLM/Omni 多模态模型原理及应用，有视频理解、多模态问答、视频 Agent 或具身/交互式智能体经验者优先
熟悉大模型后训练方法，包括 SFT、DPO、RL/RLHF 等，对 Agent 能力对齐、任务分解、规划推理有实战经验
具备 Agent/tool use/function calling/RAG 相关经验，能够设计基于工具增强的多轮推理流程
熟悉长短期记忆、上下文管理、时序信息压缩与检索机制，有长视频理解或流式视频分析经验者优先
熟练使用 PyTorch，具备模型训练、微调、部署与性能优化能力
有低延迟推理、流式系统优化经验者优先
具备较强的问题抽象与系统设计能力，能够从业务场景出发定义任务、构建数据、设计评测并推动落地
工作职责
负责实时视频分析 Agent研发，融合 CV、VLM、Omni/多模态大模型等能力，服务于工业质检、巡检、SOP 合规、Streaming Video 交互等场景
设计并优化面向视频流场景的长短期记忆机制、事件检测、异常告警与状态跟踪能力，提升实时性、稳定性与准确率
负责通用/专用视觉模型在垂直场景中的微调、适配与性能优化，包括检测、识别、时序理解、多模态问答等任务
负责离线长视频分析 Agent能力建设，提升模型在复杂任务中的自主拆解、规划、多步推理、细粒度分析与结果归因能力
基于 SFT、RL/RLHF、DPO、Agentic RL 等后训练方法，提升大模型在Planning、Reasoning、Function Calling、RAG、数据洞察等方面的能力
构建视频分析 Agent 的工具使用体系，支持如 crop_video、zoom-in、片段重采样、目标聚焦、证据回溯等能力，形成“观察—推理—行动—验证”闭环
设计高质量训练数据与评测体系，持续提升长视频复杂任务上的准确率、鲁棒性、可解释性与泛化能力
与产品、工程、业务团队协作，推动算法方案在真实场景中的落地与迭代
优先资格
有工业质检、巡检、安防、SOP 合规、视频交互等真实场景落地经验
有长视频复杂任务分析、视频 CoT/规划推理、视频 Agent、Agentic RL 相关经验
有多模态大模型微调、蒸馏、对齐、推理加速或线上部署经验
在 CV、MM、NLP、Agent、RL 等方向有高水平论文、开源项目或竞赛成果
AI 洞察
优缺点分析
优点
- 接触业界最前沿的多模态与大模型技术栈，拥有海量真实业务场景数据支撑，平台资源雄厚，技术影响力大
- 技术迭代极快，需持续跟进最新Paper与开源项目
- 具备深厚AI理论基础与工程落地能力，热衷于探索多模态智能边界，能在高压下解决复杂技术难题的高级算法专家
缺点 / 挑战
- 对算法在实时性与准确率上的平衡要求极高，落地压力大
角色解读
- 可向首席科学家、AI架构师方向发展，或在多模态交互、具身智能、自动驾驶等高价值领域成为技术领军人物
- 研发面向视频流的智能Agent算法，融合计算机视觉与大语言模型能力，实现实时视频理解与离线长视频复杂任务分析
- 精通计算机视觉（检测/分割/跟踪）、多模态大模型（VLM/MLLM）原理、大模型后训练技术（SFT/RLHF/DPO）及Agent工具调用机制
申请策略
- 准备详细的技术方案案例，展示如何从0到1构建视频Agent系统，特别是如何处理长视频记忆与复杂推理逻辑
- 突出多模态大模型微调、Agent规划推理、视频理解等核心项目的深度与产出，强调SFT/RLHF等后训练技术的实战经验
- 深入研读最新的多模态对齐、长视频理解、Agentic RL相关顶会论文，强化PyTorch底层优化与分布式训练能力
面试指南
- 采用STAR法则（情境-任务-行动-结果），重点阐述技术选型的依据、遇到的核心难点及创新解决方案、量化带来的性能提升
- 请详细描述你设计的视频Agent的记忆机制与上下文管理策略
- 在多模态大模型后训练中，你是如何平衡SFT与RLHF效果的？遇到Reward Hacking如何解决？
- 针对长视频复杂任务，如何设计有效的评测体系以评估模型的推理与归因能力？
- 如何在保证实时性的前提下，优化视频流处理Agent的低延迟推理性能？
- 复习Transformer架构变体、多模态融合机制、强化学习基本原理
- 准备1-2个完整的端到端项目案例，涵盖数据处理、模型训练、评估与部署全流程
职位点评
薪资福利85
成长发展95
工作生活40
使命价值75
薪资福利
85较高
作为已上市巨头企业的专家级岗位，薪资水平极具竞争力，通常包含高额奖金与股票期权，福利体系完善，满足度高。
薪资信号未披露（AI估算：5.0千–9.0万/月）
成长发展
95较高
职位涉及多模态大模型、Agent、RLHF等最前沿技术领域，技术壁垒高，成长空间巨大，能显著提升个人在AI领域的核心竞争力。
技术前沿前沿/新兴技术
技术栈VLM、MLLM、Omni、Agent、SFT、DPO、RLHF、Agentic RL、RAG、PyTorch
业务类型profit_center
工作生活
40较低
互联网大厂核心研发岗位通常工作节奏较快，虽可能有弹性工作制，但面对复杂的算法落地压力，加班可能性较高，WLB相对一般。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
通过技术创新推动工业质检、安防等实际场景的效率提升，具有明确的商业价值与社会应用前景，使命感较强。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
PSP-数据算法工程师 （3DGS与仿真方向）
安克创新 · 杭州市
AI 估算 · 3.0–5.0万2 小时前发布
海康机器人-机械臂算法工程师-杭州
海康威视 · 杭州市
AI 估算 · 5.0–8.0千11 小时前发布
计算机视觉算法实习生（VLM-多模态）
地平线 · 北京市
AI 估算 · 0.3–0.5千1 天前发布
计算机视觉算法实习生（VLM-多模态）
地平线 · 北京市
AI 估算 · 0.3–0.5千1 天前发布
锂威-视觉开发工程师-浙江
欣旺达 · 金华市
AI 估算 · 1.8–3.0万4 天前发布
机器视觉算法高级工程师
顺丰速运 · 上海市
AI 估算 · 2.5–4.0万7 天前发布
新型电力系统智能视觉技术高级专家
国家能源集团 · 西安市
AI 估算 · 3.5–6.0万7 天前发布
视觉算法工程师
滴滴出行 · 北京市
AI 估算 · 3.0–5.0万8 天前发布
Watch Jobs