Lenovo logo
联想
Sr. Researcher, Omni & Multimodal Interaction Researcher

Sr. Researcher, Omni & Multimodal Interaction Researcher

发布于 41 分钟前

普通员工/个人贡献者

AI 估算 · 6.0–10.0万 · AI 参考估算
高级经验
硕士
全职员工仅现场办公AI算法
AI算法
Agent Memory
Audio-Llm
Llm
Pytorch
Vlm
多模态感知
强化学习

值不值得投

76综合评分

综合评分 76

前沿多模态交互研究岗,技术成长强、创新空间大,工作模式与福利信息未披露

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

8.0万

比AI算法中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 360 个在招 · 其中AI算法 12 个

市场机会

选择面较广

北京 · AI算法 · 约 240 个在招

职位详情

关于这个职位

该职位聚焦新一代 Always-On Omni 多模态智能交互研究,负责实时全双工交互、常驻式多模态感知、真实世界记忆与主动交互决策等前沿方向

你将主导关键算法与技术架构设计,并推动研究成果在 AI PC、手机及智能终端产品中落地

最低要求

计算机科学、人工智能、电子信息等相关专业,硕士及以上学历,博士优先

具有6年以上人工智能、大模型或多模态算法相关研发经验,并具有代表性技术成果或复杂研究项目主导经验,特别优秀者可适当放宽年限
深入理解 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构与技术原理,熟悉多模态统一表示、跨模态融合、大模型训练与后训练、推理优化等主流技术路线,能够结合研究目标进行技术选型与架构创新
在以下技术方向中,至少具备一个方向的突出研究深度与代表性成果,并具有跨技术方向的系统架构设计或协同优化能力:
Omni 多模态模型、端到端语音/音视频交互、实时全双工模型
常驻式多模态感知、端云协同推理、低功耗智能交互架构
多模态长期记忆、连续感知信息压缩、Memory-Augmented Agent
主动式多模态交互、用户意图建模、Agent 行为决策与强化学习
具备扎实的算法理论基础和较强的科研创新能力,能够针对复杂技术问题提出具有创新性的算法或架构方案,并主导模型研究、实验验证、性能评估与持续优化
熟悉 PyTorch 等深度学习框架,具备复杂多模态模型或智能体系统的核心研发经验,能够综合考虑模型效果、计算效率、实时性及实际部署约束
具备较强的技术判断与研究规划能力,能够独立主导关键技术研究方向,指导研究人员开展技术攻关,推动跨团队技术协作及研究成果落地

工作职责

主导新一代 Always-On Omni 多模态智能交互技术研究,围绕实时全双工交互、常驻式多模态感知、真实世界记忆与主动交互决策等核心方向,规划关键技术路线,探索具有创新性和产品差异化价值的多模态智能交互架构

实时全双工多模态交互:研究原生 Omni 模型与级联式多模态 Agent 的协同架构,探索多模态统一表征、音视频流式理解与生成、全双工交互及实时推理等前沿技术,突破多模态理解、推理、生成与工具调用协同中的关键技术问题
低功耗常驻式多模态感知:研究面向 AI PC、手机及智能终端的 Always-On 感知架构,探索分层级联感知、事件驱动推理、模型动态路由及端云协同机制,在感知能力、计算资源、设备功耗、响应延迟及隐私保护之间实现系统级优化
真实世界多模态记忆:研究连续音视频与环境感知信息的语义压缩、时序表示、分层记忆及动态检索机制,探索多模态记忆与大模型推理、Agent 任务执行及个性化服务的深度融合,构建面向长期连续交互的真实世界记忆能力
主动式多模态交互:研究基于实时感知、长期记忆、用户意图和环境上下文的主动交互与行为决策技术,探索交互时机建模、主动介入、静默决策及打扰度控制,并结合模型后训练与强化学习优化 Agent 的主动交互策略
主导关键算法研究与技术架构设计,探索 Omni 模型、多模态感知、长期记忆与 Agent 决策的协同优化机制,建立涵盖模型效果、端到端延迟、资源消耗、记忆有效性及交互体验的数据、技术评测与优化体系
推动核心研究成果从算法原型到实际产品能力的转化,与模型、端侧系统及工程团队协同解决跨模块技术问题,促进多模态交互技术在智能终端中的规模化应用
跟踪 Omni、多模态基础模型、Agent Memory、Agentic RL 等前沿技术发展,主导具有创新性和前瞻性的研究课题,推动高质量论文、专利、开源项目及技术报告等成果产出,提升团队在多模态智能交互领域的技术影响力

优先资格

博士优先

具有代表性技术成果或复杂研究项目主导经验,特别优秀者可适当放宽年限

AI 洞察

优缺点分析

优点

  • 研究方向处于多模态大模型与智能终端交互的前沿,技术积累价值高
  • 岗位强调从算法原型到产品落地,能同时锻炼研究能力和工程转化能力
  • 覆盖 AI PC、手机、智能终端等真实产品场景,研究成果有较强应用空间
  • 有机会产出论文、专利、开源项目和技术报告,利于建立个人技术影响力
  • 技术跨度大,需要同时理解 Omni 模型、Agent Memory、强化学习、端侧部署和端云协同
  • 研究目标与产品体验、功耗、延迟、隐私等约束强耦合,落地复杂度高
  • 前沿方向变化快,需要持续跟踪并快速验证新技术路线
  • 适合有大模型或多模态算法研究背景、希望主导前沿方向并推动产品落地的资深研究者
  • 尤其适合既重视科研产出,又愿意深入终端系统优化和跨团队协作的人

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向多模态大模型研究专家、Omni 交互架构负责人或终端智能交互技术负责人方向发展
  • 随着产品落地经验积累,可进一步承担研究团队管理、技术战略规划或跨终端 AI 平台架构职责
  • 也可基于论文、专利和开源影响力,发展为公司在多模态智能交互领域的对外技术代表
  • 主导 Always-On Omni 多模态智能交互方向的技术路线规划,覆盖实时全双工交互、常驻式感知、长期记忆和主动交互决策
  • 研究 Omni 模型、级联式多模态 Agent、音视频流式理解与生成、实时推理和工具调用协同等关键问题
  • 面向 AI PC、手机和智能终端,优化端云协同、低功耗感知、响应延迟、隐私保护和交互体验
  • 推动算法原型转化为产品能力,并产出论文、专利、开源项目和技术报告等研究成果
  • 需要深入理解 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构,并熟悉多模态统一表示和跨模态融合
  • 需要具备大模型训练、后训练、推理优化以及 PyTorch 复杂模型研发经验
  • 需要在多模态长期记忆、Agent 决策、强化学习、端云协同或低功耗感知中至少一个方向有突出成果
  • 需要具备研究规划、跨团队协同、技术架构设计和成果落地能力

申请策略

  • 申请前建议了解联想在 AI PC、智能终端和端侧 AI 方向的产品布局,思考多模态交互如何形成差异化体验
  • 面试中应突出技术判断力和研究规划能力,而不仅是单点算法实现能力
  • 突出你在多模态模型、Audio-LLM、VLM、Omni 或实时交互方向的核心项目,说明你承担的技术角色和主导范围
  • 量化展示模型效果、延迟优化、资源消耗、端侧部署或用户体验指标,体现系统级优化能力
  • 列出高质量论文、专利、开源项目、技术报告或复杂项目主导经验,增强研究影响力证明
  • 强调跨模型、端侧系统、工程团队协作经验,以及将研究成果落地到产品的实际案例
  • 补强 Omni 模型、音视频流式理解生成、全双工交互和实时推理相关技术栈
  • 熟悉 Agent Memory、Agentic RL、事件驱动推理、模型动态路由和端云协同架构

面试指南

  • 先明确业务场景和约束条件,再给出架构方案、关键模块、评测指标和取舍逻辑
  • 用“问题定义—技术路线—实验验证—失败复盘—产品落地”的结构讲项目,突出主导性和决策依据
  • 回答前沿技术问题时,可比较多种方案的优劣,并说明在真实终端环境中如何权衡效果、成本、延迟和体验
  • 你如何设计面向 AI PC 的 Always-On 多模态感知架构,并平衡功耗、延迟和隐私?
  • 原生 Omni 模型与级联式多模态 Agent 架构各有什么优劣,你会如何选型?
  • 如何构建真实世界多模态长期记忆系统,并评估记忆有效性?
  • 在主动式交互中,如何建模交互时机并控制打扰度?
  • 请介绍一个你主导过的复杂多模态研究项目,包括技术难点、实验设计和最终落地效果

职位点评

薪资福利82
成长发展92
工作生活45
使命价值78

薪资福利

82较高

JD未披露薪资与福利信息,但岗位要求资深研究经验和复杂项目主导能力,层级较高。补偿性动机满足度主要来自岗位级别推断,缺少明确薪资福利证据。

薪资信号未披露(AI估算:6.0千–10.0万/月)

成长发展

92较高

岗位明确覆盖 Omni 模型、多模态 Agent、Agent Memory、Agentic RL、端云协同等前沿方向,并要求主导研究课题和技术架构。对追求技术深度、研究影响力和跨团队成长的人非常匹配。

技术前沿前沿/新兴技术
技术栈Omni、Transformer、LLM、VLM、Audio-LLM、多模态统一表示、跨模态融合、大模型后训练、推理优化、Agent Memory、Agentic RL、PyTorch、端云协同推理
业务类型ambiguous

工作生活

45较低

JD仅明确工作地点在北京,未提及远程、弹性办公、工时或加班信息。生活化动机缺少正向证据,且岗位涉及复杂研究与跨团队落地,需做好较高协作投入的准备。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

78中等

岗位面向智能终端中的多模态智能交互规模化应用,具有较强的技术创新和产品差异化价值。JD提到高质量论文、专利、开源项目及技术报告,但未明确表达社会使命或公共价值导向。

行业发展新兴领域(暂难判断)
社会影响中性/一般
创新程度开拓性创新(行业首创)
Watch Jobs