Lenovo logo
联想
Advisory Researcher, Omni & Multimodal Interaction Researcher

Advisory Researcher, Omni & Multimodal Interaction Researcher

发布于 27 分钟前

普通员工/个人贡献者

AI 估算 · 3.5–6.5万 · AI 参考估算
高级经验
硕士
全职员工仅现场办公AI算法
AI算法
Audio-Llm
Pytorch
Vlm
全双工交互

值不值得投

79综合评分

综合评分 79

前沿多模态大模型算法岗,技术成长强、落地场景清晰,薪资与WLB信息未披露。

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

5.0万

比AI算法中位数低

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 360 个在招 · 其中AI算法 12 个

市场机会

选择面较广

北京 · AI算法 · 约 240 个在招

职位详情

关于这个职位

该职位聚焦新一代 Omni 多模态大模型与智能交互技术,研究语音、视觉、文本等多模态融合、实时全双工交互、常驻感知、多模态记忆与主动式交互

你将参与算法研究、模型训练与后训练、实验评测和工程化优化,并推动成果在 AI PC、智能手机等产品中落地

最低要求

计算机科学、人工智能、电子信息等相关专业,硕士及以上学历

具有3年以上人工智能、深度学习、大模型或多模态算法相关研发经验
熟悉 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构中的一种或多种,理解多模态表示学习、跨模态融合、大模型训练与推理等技术原理
在以下技术方向中,至少具备一个方向的实际研发经验,能够独立完成相关算法的设计、验证与优化:
Omni 多模态模型、端到端语音/音视频交互、流式全双工对话
常驻式多模态感知、端云协同推理、低功耗模型优化
多模态记忆、长上下文建模、语义压缩与检索
主动式交互、用户意图理解、Agent 决策与工具调用
熟练掌握 Python、PyTorch 等研发工具,具备模型训练、微调、推理优化或多模态 Agent 系统的实际研发经验
具备良好的算法研究、实验设计与工程实践能力,能够独立分析和解决具体技术问题,推动算法研究成果在实际业务场景中落地

工作职责

参与新一代 Omni 多模态大模型与智能交互技术研究,探索语音、视觉、文本等多模态信息的联合理解、融合推理与流式生成,提升多模态 Agent 在真实场景下的智能交互能力

实时全双工多模态交互:研究端到端语音及音视频交互、流式多模态理解与生成、语义判停(Turn-taking)、动态打断(Barge-in)及低延迟响应等关键算法,实现自然、连续的实时多模态交互
低功耗常驻式多模态感知:研究面向智能终端的 Always-On 感知技术,探索分层级联感知、事件触发、轻量化感知模型、模型动态路由及端云协同推理,优化感知效果、资源消耗及响应延迟
真实世界多模态记忆:研究连续音视频及环境感知信息的语义压缩、时序建模、记忆构建与高效检索,增强多模态 Agent 对历史事件、用户偏好及环境上下文的长期理解能力
主动式多模态交互:探索基于实时感知、历史记忆和用户意图的主动交互技术,研究交互时机判断、主动触发、行为决策及打扰度控制,提升多模态 Agent 的自然交互与个性化服务能力
负责相关算法的研究、模型训练或后训练、实验验证、性能评测与工程化优化,推动研究成果在 AI PC、智能手机等产品场景中落地,并形成论文、专利、技术报告等技术成果

优先资格

具有原生 Omni、多模态端到端模型、Speech-to-Speech 或实时音视频大模型的训练、后训练或实际应用经验

熟悉 SFT、RL、DPO、GRPO 等大模型后训练方法,具有多模态模型对齐、实时交互优化或 Agentic RL 经验
在多模态记忆、Memory Compression、主动交互或个性化智能助手等方向具有相关研究或项目成果
熟悉 DeepSpeed、Megatron、vLLM 等训练推理框架,具备低延迟推理、模型量化或端侧部署经验
在 NeurIPS、ICML、ICLR、ACL、CVPR、ICASSP、Interspeech 等相关学术会议发表论文,或具有高质量开源项目、专利及技术报告
具有 AI PC、手机、智能助手或其他智能终端多模态交互技术的产品落地经验

AI 洞察

优缺点分析

优点

  • 岗位处于多模态大模型与智能终端交互的前沿方向,技术积累价值高
  • 研究内容覆盖实时交互、端云协同、多模态记忆和主动式 Agent,技术广度较强
  • 成果有机会落地到 AI PC、智能手机等真实产品,能兼顾算法研究与业务应用
  • 联想具备终端产品场景,适合希望看到技术实际落地的算法人才
  • 技术方向新且复杂,需要同时理解模型算法、系统优化和终端产品约束
  • 适合有多模态大模型、语音交互、端侧智能或 Agent 研发经验,并希望在真实终端产品中落地前沿算法的资深算法研究者

缺点 / 挑战

  • 实时低延迟、低功耗常驻感知和多模态记忆都涉及较高工程复杂度
  • 岗位要求硕士及以上和多年经验,竞争门槛较高,需要持续跟进前沿论文与开源进展

角色解读

  • 可向多模态大模型算法专家、端侧智能交互专家或 Agent 系统架构师方向发展
  • 随着产品落地经验积累,可成长为技术负责人,主导 AI PC、手机等终端智能助手的核心算法路线
  • 也可延伸到学术论文、开源生态、专利布局或跨终端产品创新等更高影响力方向
  • 研究 Omni 多模态大模型,围绕语音、视觉、文本的联合理解、融合推理和流式生成开展算法创新
  • 攻关实时全双工交互中的低延迟响应、语义判停、动态打断和端到端音视频交互能力
  • 探索智能终端上的 Always-On 感知、端云协同推理、多模态长期记忆和主动式交互技术
  • 将研究成果转化为模型训练、后训练、评测、工程优化及产品落地,并沉淀论文、专利或技术报告
  • 需要掌握 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构,理解多模态表示学习和跨模态融合
  • 需要具备 Python、PyTorch 研发能力,并能独立完成模型训练、微调、推理优化或 Agent 系统开发
  • 至少在 Omni 模型、全双工语音交互、常驻感知、多模态记忆、主动交互等方向有深入研发经验
  • 加分能力包括后训练方法、低延迟推理、模型量化、端侧部署以及高质量论文、专利或开源成果

申请策略

  • 申请前建议梳理联想 AI PC、智能助手和终端 AI 相关产品方向,明确自己能贡献的技术切入点
  • 面试中尽量把研究经历与产品落地结合,说明如何平衡效果、延迟、功耗和用户体验
  • 突出你参与过的多模态模型、端到端语音、Audio-LLM、VLM 或 Omni 相关项目,并说明具体贡献
  • 量化展示模型效果、延迟优化、推理加速、端侧部署或资源消耗优化结果
  • 列出熟悉的训练与推理工具,如 Python、PyTorch、DeepSpeed、Megatron、vLLM,以及后训练方法经验
  • 如有论文、专利、开源项目或产品落地案例,应放在显眼位置并说明与岗位方向的关联
  • 补强多模态模型后训练能力,重点理解 SFT、DPO、RL、GRPO 和 Agentic RL 的适用场景
  • 提升低延迟推理、量化、端侧部署和端云协同推理能力,增强终端场景落地竞争力

面试指南

  • 项目类问题采用“背景目标—技术难点—方案设计—实验验证—落地结果”的结构回答,并突出个人贡献
  • 算法类问题先说明问题定义和评价指标,再比较主流方案取舍,最后结合业务约束给出自己的设计选择
  • 研究类问题可围绕论文调研、实验设计、消融分析、失败案例和迭代过程展开,体现研究闭环能力
  • 请介绍一个你主导或深度参与的多模态大模型项目,你的核心贡献是什么?
  • 端到端语音交互中如何设计 Turn-taking、Barge-in 和低延迟响应机制?
  • 如何优化 Always-On 多模态感知的功耗、延迟和准确率之间的平衡?
  • 多模态长期记忆系统如何构建、压缩和检索,如何评估记忆有效性?
  • 你如何理解 SFT、DPO、RL 或 GRPO 在多模态模型对齐和 Agent 交互中的作用?

职位点评

薪资福利82
成长发展92
工作生活55
使命价值78

薪资福利

82较高

JD未披露薪资与福利信息,但岗位要求硕士及以上学历和3年以上相关经验,属于技术门槛较高的算法研究岗位。补偿性动机满足度主要来自岗位专业度,薪资竞争力无法从原文直接确认。

薪资信号未披露(AI估算:3.5千–6.5万/月)

成长发展

92较高

岗位覆盖 Omni 多模态大模型、全双工交互、端云协同、多模态记忆和主动式 Agent 等前沿方向,并鼓励形成论文、专利和技术报告。对希望提升前沿算法研究、工程落地和学术产出能力的求职者非常匹配。

技术前沿前沿/新兴技术
技术栈Omni多模态大模型、Transformer、LLM、VLM、Audio-LLM、全双工交互、端云协同推理、多模态记忆、Agent、SFT、RL、DPO、GRPO、DeepSpeed、Megatron、vLLM
成长机会形成论文、专利、技术报告等技术成果
业务类型ambiguous

工作生活

55较低

JD仅明确工作地点为北京,未提及远程、弹性办公、双休或加班情况,因此生活化动机满足度无法充分判断。岗位涉及算法研究、模型训练和产品落地,原文未给出具体工时或办公灵活性信息。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

78中等

岗位聚焦多模态 Agent、智能终端交互和个性化智能助手,有机会提升真实场景下的人机交互体验,技术价值较明确。JD未直接描述社会使命或公共价值导向,意义感主要来自前沿技术探索与产品落地。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs