阿里巴巴
多模态Search Agent研究&应用-阿里星/C-Star
多模态Search Agent研究&应用-阿里星/C-Star
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Agent架构
多模态大模型
强化学习
算法研究
计算机视觉
Vlm优化
数据合成管线
值不值得投
80综合评分
综合评分 80
顶尖AI研发岗、前沿技术栈、高薪激励强、技术成长快、工作节奏偏快
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较职业起点。
薪资怎么样
5.3万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3620 个在招 · 其中人工智能 约 370 个
市场机会
选择面较广
杭州 · 人工智能 · 约 440 个在招
职位详情
关于这个职位
负责千问VQA场景下Search Agent的优化与探索，核心提升模型在复杂视觉场景下的理解、推理及反思纠错能力
工作内容涵盖多轮对话数据管线构建、VLM基座模型感知推理优化、多步强化学习策略设计以及Agent架构效率提升，致力于推动大模型在多模态搜索领域的实际应用突破
最低要求
计算机科学、人工智能、机器学习或相关领域的硕士或博士学位，具备扎实的编程基础（Python/C++/Java），熟悉常用算法与数据结构
在多模态、大模型、计算机视觉、强化学习、Agent等一个或多个领域有较深入的研究
具有出色的分析、解决问题的能力，能深入解决大模型训练、应用存在的问题，有自主探索解决方案的能力者
拥有强烈的技术热情和好奇心，能够积极应对挑战&持续学习
工作职责
高质量数据工程体系：设计并构建复杂 Multi-Turn VL Search Trajectory 的数据合成与生产管线，探索自动化数据生成策略，模拟真实用户的复杂多轮搜索需求，构建包括CoT、ToolUse及Reflection路径的高质量训练数据集
VLM基础的感知/推理能力优化：针对 Single Step 场景，优化VLM基座模型，显著提升其对复杂图像的理解、推理能力及工具调用的准确性，负责包括MiddleTrain和PostTrain在内的完整的训练阶段优化
Multi-Turn强化学习策略设计：主导SearchAgent在Multi-Turn场景下的RL工作，探索&设计创新的RL方式与Reward System，有效激发Agent的自我反思与错误修正能力，提升Agent在长程依赖任务中的决策稳定性
Agent 架构优化与效率提升：研究如何在保证检索效果的前提下，极致压缩 Trajectory长度，优化Agent 的搜索策略与规划机制，提升端到端的搜索效率
优先资格
具有优秀的基础算法、扎实的机器学习基础，在CVPR、ECCV、ICCV、NeurIPS、ICLR、ICML、SIGGRAPH或SIGGRAPH Asia等顶级会议/期刊上发表论文者优先
具有优秀的代码能力，在ACM/ICPC、NOI/IOl、Top Coder、Kaggle等比赛获奖者优先
在多模态、大模型、RL方向主导过大影响力项目者优先
AI 洞察
优缺点分析
优点
- 接触行业最前沿的多模态大模型与Agent技术
- 依托阿里通义实验室平台，拥有海量算力与真实业务场景支撑
- “阿里星”计划提供极具竞争力的薪酬与快速晋升通道
- 对学术背景与科研产出要求极高，需持续跟踪顶会论文与技术趋势
- 内部技术迭代速度极快，竞争氛围浓厚
- 适合具备扎实科研功底、热爱前沿AI技术探索、抗压能力强且追求技术深度的硕博毕业生或青年研究员
缺点 / 挑战
- 算法落地需兼顾性能与效率，工程调试压力大
角色解读
- 可向首席算法科学家或AI架构师方向发展
- 也可转型为技术负责人，带领团队攻克更复杂的智能体与大模型融合难题
- 负责千问VQA场景下Search Agent的核心算法优化与落地
- 构建多轮对话与视觉轨迹的高质量数据合成管线
- 设计并实施强化学习策略以提升Agent推理与纠错能力
- 精通Python/C++编程与底层算法数据结构
- 深入掌握多模态大模型、计算机视觉或强化学习理论
- 具备独立开展前沿算法研究与工程调优的能力
申请策略
- 提前了解通义千问的技术路线与Search Agent的业务定位
- 准备清晰的技术分享或项目复盘材料以应对深度技术面
- 突出顶会论文发表记录、核心算法竞赛奖项及主导的大模型/Agent项目经验
- 详细展示数据管线设计与强化学习策略的创新点与量化结果
- 系统梳理多模态对齐、RLHF/RLAIF最新进展
- 加强大规模分布式训练与模型压缩的工程实践能力
面试指南
- 采用STAR法则结构化阐述项目背景、个人贡献、技术难点与量化成果
- 针对开放性问题，先界定问题边界，再提出假设方案，最后说明验证方法与预期收益
- 请详细介绍你发表的顶会论文及其核心创新点与局限性
- 如何设计Reward System来引导Agent进行有效的自我反思与纠错？
- 面对多模态数据噪声与分布偏移，你的清洗与合成策略是什么？
- 在资源受限情况下，如何平衡Agent的推理深度与响应延迟？
- 复习Transformer架构、对比学习与多模态预训练核心原理
- 准备1-2个完整的项目案例，重点打磨技术选型依据与实验设计逻辑
职位点评
薪资福利85
成长发展95
工作生活50
使命价值75
薪资福利
85较高
阿里星计划提供极具市场竞争力的薪酬包与完善福利，对补偿性动机满足度较高。
薪资信号偏高 (3.5千–7.0万/月)
成长发展
95较高
聚焦多模态大模型与Agent前沿方向，技术成长空间广阔，高度契合顶尖人才的发展诉求。
技术前沿前沿/新兴技术
技术栈多模态、大语言模型、强化学习、Agent、VLM、Python
业务类型profit_center
工作生活
50较低
研发攻坚性质决定工作节奏较快，WLB表现一般，灵活性未作明确说明。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
致力于提升AI搜索体验与智能体能力，具有明确的技术突破价值与广泛的社会应用前景。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs