荣耀
端侧多模态研究工程师
端侧多模态研究工程师
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Gui Agent
Lam
Vlm
多模态
强化学习
模型部署
端云协同
端侧Ai
计算机视觉
值不值得投
73综合评分
综合评分 73
前沿端侧AI技术岗，高成长性，技术挑战大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.3万
比人工智能中位数低
发布情况
新岗位 · 3 天前发布
公司情况
这家公司招聘很活跃
约 230 个在招 · 其中人工智能 11 个
市场机会
选择面较广
北京 · 人工智能 · 约 590 个在招
职位详情
关于这个职位
该职位是荣耀公司的端侧多模态研究工程师，主要负责端侧多模态交互Agent的算法研究、开发与落地
你需要构建基于UI Agent与Large Action Model（LAM）的多模态理解、任务规划与操作执行能力，涵盖GUI视觉理解、多步操作导航、分层推理及端侧轻量VLM部署，并推动Agent从屏幕交互向物理设备控制延展，实现端云协同的跨设备智能交互
最低要求
计算机相关专业硕士及以上，计算机视觉或多模态学习方向，具备3年以上相关研究经验
熟悉VLM架构与视觉Grounding技术
了解GUI Agent前沿模型（如UI-TARS-2、Ferret-UI Lite、MAI-UI、GUI-Owl-1.5等）及主流评测基准（AndroidWorld、MobileWorld、ScreenSpot-Pro）
工作职责
负责端侧多模态交互Agent的算法研究与落地
构建基于UI Agent与Large Action Model的多模态理解、任务规划与操作执行能力，涵盖GUI视觉理解、多步操作导航、分层推理架构及端侧轻量VLM部署
推动Agent从屏幕交互向IoT/ROS等物理设备控制延展，实现端云协同的跨设备智能交互与自动化执行
优先资格
有GRPO/RL强化训练、模型蒸馏或端侧VLM（1B–7B）适配经验者优先
有顶会论文发表者优先
AI 洞察
优缺点分析
优点
- 技术前沿性极高：工作在端侧AI、多模态智能体等最热门的技术交叉领域，能接触并解决行业顶级难题
- 行业前景广阔：端侧AI是未来智能终端（如手机、汽车、机器人）的核心竞争力，市场需求和增长潜力巨大
- 硬核技能积累：深入掌握从算法研究到端侧落地的全栈能力，是AI领域非常稀缺且高价值的复合技能
- 研究与落地的平衡：既要追求算法的先进性，又要确保工程可实现性，在端侧硬件约束下达到实用效果
- 适合对AI原理有强烈好奇心、不满足于调用API，而是渴望从底层算法层面理解和创造智能体的计算机相关专业硕士及以上学历者，且具备扎实的研究能力和工程落地意识
缺点 / 挑战
- 技术深度与难度大：需要跨领域知识（CV、NLP、RL、系统优化），模型在端侧的性能与资源平衡极具挑战性
- 竞争压力激烈：该领域汇聚了顶尖的研究人才和公司，技术迭代快，需要持续高强度学习和创新
角色解读
- 技术专家路线：在端侧AI智能体领域成为权威技术专家，主导复杂算法攻关和架构设计
- 技术管理路线：随着项目经验和团队的扩大，可转向技术负责人或团队管理者，统筹AI技术研发方向
- 行业影响路线：通过技术成果和论文发表，建立个人在行业内的影响力，参与制定相关技术标准
- 研究和开发能让AI在手机等端侧设备上理解和执行多步复杂任务的“智能体”核心算法
- 具体工作包括让AI理解屏幕内容（GUI）、规划操作步骤、控制设备执行，并处理轻量化部署的挑战
- 探索将这种智能交互能力从虚拟屏幕延伸到控制物理设备（如IoT设备），实现跨设备协作
- 精通计算机视觉、多模态学习理论，特别是视觉语言模型（VLM）的架构与训练
- 深入了解和运用强化学习（如GRPO）来提升模型的决策和规划能力
- 具备将大模型在端侧设备（1B-7B参数）进行适配、蒸馏和优化部署的实践经验
- 熟悉GUI Agent领域的最新学术成果、模型和评测基准，保持技术敏感度
申请策略
- 在面试中，准备一个关于如何设计一个端侧UI Agent系统架构的简明思路，体现你的系统性思考能力
- 研究荣耀在AI领域（特别是端侧AI）的公开技术博客、论文或产品特性，在面试中展示你对公司的了解和热情
- 突出与计算机视觉、多模态模型（如VLM）相关的研究或项目经历，详细说明具体使用的模型、解决的问题和量化结果
- 强调任何涉及模型轻量化、端侧部署、强化学习训练或GUI理解相关的项目经验，展示从研究到实现的完整能力
- 如果有相关顶会论文（如CVPR， NeurIPS， ICLR， ACL等），务必在显著位置列出，并说明自己的贡献
- 列出熟悉的具体技术栈（如PyTorch， ONNX Runtime， TensorFlow Lite等）和了解的前沿模型/基准
- 系统跟进GUI Agent和端侧VLM的最新论文，尝试复现1-2个代表性模型，深入理解其架构和实现细节
- 动手实践端侧模型部署，学习使用移动端/嵌入式设备的AI推理框架（如TensorFlow Lite， Core ML），体验性能优化过程
面试指南
- 对于架构/流程问题，采用“输入理解 -> 任务规划 -> 动作执行 -> 反馈优化”的框架来组织回答，强调端侧约束下的特殊考虑（如延迟、功耗、内存）
- 对于评估问题，从“任务成功率”、“操作步骤效率”、“泛化能力”（跨应用/设备）和“资源占用”（时间、内存）等多个维度构建评估体系
- 对于技术设计问题，展示“问题定义 -> 方案对比（传统vs新颖） -> 具体选择与理由 -> 潜在优化方向”的思维过程
- 请描述你理解的一个典型的端侧多模态Agent的工作流程，其中可能遇到哪些关键技术挑战？
- 如何评估一个GUI Agent在完成跨应用任务时的性能？你会关注哪些指标？
- 如果要在参数量有限（如3B）的端侧模型上实现高效的视觉Grounding，你会考虑哪些技术路线？
- 请分享一个你通过强化学习或蒸馏技术优化模型性能的具体案例，你是如何设计奖励函数或教师-学生架构的？
- 准备一个你最有代表性的相关项目故事，使用STAR原则（情境、任务、行动、结果）来讲述，重点突出你在算法选择和工程实现上的思考
职位点评
薪资福利75
成长发展90
工作生活50
使命价值70
薪资福利
75中等
职位对技能和经验要求高，属于高技术含量的算法岗位，在市场上应具有较强的薪酬竞争力。JD未提及具体福利信息。
薪资信号市场水准 (2.5千–4万/月)
成长发展
90较高
该职位处于AI技术最前沿的端侧智能体领域，涉及VLM、强化学习、模型部署等核心技术，技术成长空间和行业价值极高。
技术前沿前沿/新兴技术
技术栈VLM、GUI Agent、Large Action Model、视觉Grounding、RL、模型蒸馏、端侧部署
成长机会算法研究与落地
业务类型profit_center
工作生活
50较低
JD未明确说明工作模式、办公地点类型或WLB相关信号。AI算法研发通常需要团队协作和专注思考，具体工作节奏未知。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
工作内容是推动AI智能体在终端设备的应用，有助于提升人机交互体验和设备智能化水平，具有明确的技术价值和社会应用前景。
行业发展高速增长赛道
社会影响中性/一般
使命信号实现端云协同的跨设备智能交互与自动化执行
创新程度开拓性创新（行业首创）
Watch Jobs