三六零
多模态理解算法实习生-GUIagent（北京）-4416(J11977)
多模态理解算法实习生-GUIagent（北京）-4416(J11977)
发布于 大约 7 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Gui Agent
Pytorch
多模态大模型
数据标注
模型评测
自然语言处理
计算机视觉
论文复现
值不值得投
76综合评分
综合评分 76
前沿GUI Agent研究实习，技术深度足，成长空间大，具体办公模式和福利需确认。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
5K
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 130 个在招
市场机会
选择面较广
北京 · 机器学习工程 · 约 440 个在招
职位详情
关于这个职位
作为多模态理解算法实习生，你将深入参与GUI Agent和多模态大模型的前沿研发，涵盖界面感知、任务规划到动作执行的完整链路，与资深AI团队合作，并有机会获得校招资格
最低要求
计算机、人工智能、自动化、电子信息或相关专业硕士及以上在读，能够连续实习3个月以上，每周不少于4天
具备扎实的机器学习和深度学习基础，理解Transformer、视觉语言模型VLM和大语言模型LLM的基本原理
熟悉目标检测、OCR、视觉定位、跨模态对齐或多模态理解中的至少一个方向
熟练使用Python，掌握PyTorch等至少一种深度学习框架，具备Linux、Git及基本工程开发能力
能够流利阅读英文技术文献，独立完成论文总结、方案复现、对比实验和结果分析
具备良好的实验习惯、问题分析能力和沟通协作能力，能够清晰记录实验过程并形成可复用结论
工作职责
跟踪GUI Agent、多模态大模型及智能体领域的前沿进展，完成论文调研、技术分析、开源方案复现与验证
参与GUI界面感知与理解算法研发，包括截图与DOM/可访问性信息融合、OCR、图标与布局理解、可交互元素定位及界面状态识别
参与Agent任务理解、步骤规划、工具调用、动作生成、执行反馈和异常恢复等关键能力的研发与优化
参与浏览器、桌面应用等真实环境中的GUI任务数据建设，包括交互轨迹采集、清洗、标注、合成和质量分析
参与多模态模型的训练、微调及评测，围绕任务成功率、定位准确率、执行效率、鲁棒性和推理成本开展实验分析
参与GUI Agent原型开发和工程落地，建设可复用的训练、评测及调试工具，并沉淀技术文档和研究结论
优先资格
具有GUI Agent、Web Agent、Browser Agent、RPA或交互式智能体相关研究及项目经验
熟悉浏览器或桌面应用自动化，了解DOM、Accessibility Tree、Playwright、CDP、MCP或Tool Calling
具有Agent交互轨迹构建、指令微调、偏好优化或强化学习相关经验
使用或研究过OSWorld、WebArena、Mind2Web、BrowserGym、AndroidWorld等GUI Agent数据集或评测环境
在CV、NLP、ML或AI相关高水平会议发表过论文，或有高质量竞赛及开源项目成果
AI 洞察
优缺点分析
优点
- 直接接触并参与GUI Agent这一前沿、热门且潜力巨大的AI研究方向
- 覆盖从数据、模型到工程落地的全技术链路，能获得系统性成长
- 有机会获得转正校招资格，为职业生涯打下高起点基础
- 与资深AI团队合作，能快速提升研究能力和工程视野
- 对多模态模型、Agent框架等新技术的学习和应用要求高，需要快速吸收知识
- 前沿研究领域存在不确定性，可能需要反复尝试和验证方案
- 适合计算机相关专业硕士在读，对多模态AI和智能体技术有强烈兴趣，希望深入前沿研究并积累实战经验的求职者
缺点 / 挑战
- 作为实习生，需要在限定时间内产出可验证的成果，有一定压力
角色解读
- 成长为GUI Agent或多模态大模型领域的专家研究员，专注于技术攻坚与创新
- 可转向更广泛的AI算法工程师岗位，应用于自动驾驶、机器人等交互场景
- 积累经验后，有望负责AI技术在产品中的落地，或带领小团队进行方向探索
- 研究并实现多模态大模型对GUI界面的感知与理解能力，使AI能像人一样操作电脑或手机界面
- 开发和优化智能体（Agent）的核心能力，包括任务理解、规划、执行和反馈处理
- 构建和维护用于训练与评测AI的数据集，分析模型性能并提出改进方案
- 参与从模型训练、评测到原型开发、工具建设的完整研发流程
- 扎实的机器学习与深度学习理论基础，特别是Transformer和VLM/LLM架构的理解
- 在计算机视觉（目标检测、OCR）或多模态理解领域有项目或研究经验
- 熟练的Python编程和PyTorch框架使用能力，具备Linux环境下的工程开发经验
- 优秀的英文文献阅读与独立研究能力，能够复现实验并分析结果
申请策略
- 仔细研究三六零在AI领域的公开技术成果和产品应用，在面试中展现你对公司技术方向的理解
- 准备一个清晰的技术项目讲解，重点说明你在其中解决的问题和使用的技术方法
- 突出与多模态、计算机视觉、NLP相关的课程项目、实验室经历或竞赛成果
- 详细描述使用Python和PyTorch完成过的深度学习项目，尤其是涉及模型训练、微调或复现的项目
- 如有论文发表、开源项目贡献或相关技术博客，请务必列出，这是重要的加分项
- 清晰展示你的英文文献阅读能力和实验分析总结能力
- 提前阅读GUI Agent、VLM领域的经典和最新论文（如OSWorld, WebArena相关工作），了解基本概念
- 实践学习DOM操作、浏览器自动化（如Playwright）等工具，为加分项做准备
面试指南
- 对于技术理解类问题，结合论文阅读和自己的思考，从定义、关键技术、应用场景和难点四个方面组织回答
- 对于项目经验类问题，使用STAR法则（情境、任务、行动、结果）清晰描述，并突出自己的贡献和收获
- 对于动机和规划类问题，将个人兴趣、技能积累与岗位要求、公司技术方向紧密结合，展现诚意和匹配度
- 你如何理解多模态大模型和GUI Agent？请谈谈你认为的核心挑战是什么？
- 请介绍一个你印象最深的机器学习项目，你是如何解决其中技术难点的？
- 如果让你实现一个简单的网页信息自动提取功能，你的思路是什么？
- 你对我们团队研究的哪个方向（如界面感知、任务规划）最感兴趣？为什么？
- 你未来的职业规划是什么？为什么选择这个实习岗位？
职位点评
薪资福利65
成长发展95
工作生活50
使命价值85
薪资福利
65中等
作为实习岗位，薪资符合市场实习生水平，有一定吸引力，但具体福利未在JD中提及，补偿性动机满足程度中等。
薪资信号市场水准 (4K-6K/月)
成长发展
95较高
该职位处于AI最前沿的GUI Agent和多模态大模型研究领域，提供从理论到实践、从数据到工程的完整学习链条，且有优秀实习生转正机会，发展性动机极强。
技术前沿前沿/新兴技术
技术栈多模态大模型、VLM、LLM、GUI Agent、OCR、强化学习
成长机会优秀实习生可提前锁定校招HC、快速提升研究与工程能力
业务类型ambiguous
工作生活
50较低
职位要求连续实习3个月以上且每周不少于4天，属于高强度实习，但未提及任何远程办公或弹性工作安排，生活化动机满足程度有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
GUI Agent和多模态智能体是AI领域极具潜力和应用前景的方向，参与其研发具有较高的技术使命感和行业影响力。
行业发展高速增长赛道
社会影响中性/一般
使命信号前沿进展、真实业务场景落地
创新程度开拓性创新（行业首创）
三六零 的其他在招职位
相似职位推荐
Watch Jobs