
Advisory Researcher, Omni & Multimodal Interaction Researcher
发布于 27 分钟前普通员工/个人贡献者
值不值得投
综合评分 79
前沿多模态大模型算法岗,技术成长强、落地场景清晰,薪资与WLB信息未披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
5.0万
比AI算法中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 360 个在招 · 其中AI算法 12 个
市场机会
选择面较广
北京 · AI算法 · 约 240 个在招
职位详情
关于这个职位
该职位聚焦新一代 Omni 多模态大模型与智能交互技术,研究语音、视觉、文本等多模态融合、实时全双工交互、常驻感知、多模态记忆与主动式交互
最低要求
计算机科学、人工智能、电子信息等相关专业,硕士及以上学历
工作职责
参与新一代 Omni 多模态大模型与智能交互技术研究,探索语音、视觉、文本等多模态信息的联合理解、融合推理与流式生成,提升多模态 Agent 在真实场景下的智能交互能力
优先资格
具有原生 Omni、多模态端到端模型、Speech-to-Speech 或实时音视频大模型的训练、后训练或实际应用经验
AI 洞察
优缺点分析
优点
- 岗位处于多模态大模型与智能终端交互的前沿方向,技术积累价值高
- 研究内容覆盖实时交互、端云协同、多模态记忆和主动式 Agent,技术广度较强
- 成果有机会落地到 AI PC、智能手机等真实产品,能兼顾算法研究与业务应用
- 联想具备终端产品场景,适合希望看到技术实际落地的算法人才
- 技术方向新且复杂,需要同时理解模型算法、系统优化和终端产品约束
- 适合有多模态大模型、语音交互、端侧智能或 Agent 研发经验,并希望在真实终端产品中落地前沿算法的资深算法研究者
缺点 / 挑战
- 实时低延迟、低功耗常驻感知和多模态记忆都涉及较高工程复杂度
- 岗位要求硕士及以上和多年经验,竞争门槛较高,需要持续跟进前沿论文与开源进展
角色解读
- 可向多模态大模型算法专家、端侧智能交互专家或 Agent 系统架构师方向发展
- 随着产品落地经验积累,可成长为技术负责人,主导 AI PC、手机等终端智能助手的核心算法路线
- 也可延伸到学术论文、开源生态、专利布局或跨终端产品创新等更高影响力方向
- 研究 Omni 多模态大模型,围绕语音、视觉、文本的联合理解、融合推理和流式生成开展算法创新
- 攻关实时全双工交互中的低延迟响应、语义判停、动态打断和端到端音视频交互能力
- 探索智能终端上的 Always-On 感知、端云协同推理、多模态长期记忆和主动式交互技术
- 将研究成果转化为模型训练、后训练、评测、工程优化及产品落地,并沉淀论文、专利或技术报告
- 需要掌握 Transformer、LLM、VLM、Audio-LLM、Omni 等模型架构,理解多模态表示学习和跨模态融合
- 需要具备 Python、PyTorch 研发能力,并能独立完成模型训练、微调、推理优化或 Agent 系统开发
- 至少在 Omni 模型、全双工语音交互、常驻感知、多模态记忆、主动交互等方向有深入研发经验
- 加分能力包括后训练方法、低延迟推理、模型量化、端侧部署以及高质量论文、专利或开源成果
申请策略
- 申请前建议梳理联想 AI PC、智能助手和终端 AI 相关产品方向,明确自己能贡献的技术切入点
- 面试中尽量把研究经历与产品落地结合,说明如何平衡效果、延迟、功耗和用户体验
- 突出你参与过的多模态模型、端到端语音、Audio-LLM、VLM 或 Omni 相关项目,并说明具体贡献
- 量化展示模型效果、延迟优化、推理加速、端侧部署或资源消耗优化结果
- 列出熟悉的训练与推理工具,如 Python、PyTorch、DeepSpeed、Megatron、vLLM,以及后训练方法经验
- 如有论文、专利、开源项目或产品落地案例,应放在显眼位置并说明与岗位方向的关联
- 补强多模态模型后训练能力,重点理解 SFT、DPO、RL、GRPO 和 Agentic RL 的适用场景
- 提升低延迟推理、量化、端侧部署和端云协同推理能力,增强终端场景落地竞争力
面试指南
- 项目类问题采用“背景目标—技术难点—方案设计—实验验证—落地结果”的结构回答,并突出个人贡献
- 算法类问题先说明问题定义和评价指标,再比较主流方案取舍,最后结合业务约束给出自己的设计选择
- 研究类问题可围绕论文调研、实验设计、消融分析、失败案例和迭代过程展开,体现研究闭环能力
- 请介绍一个你主导或深度参与的多模态大模型项目,你的核心贡献是什么?
- 端到端语音交互中如何设计 Turn-taking、Barge-in 和低延迟响应机制?
- 如何优化 Always-On 多模态感知的功耗、延迟和准确率之间的平衡?
- 多模态长期记忆系统如何构建、压缩和检索,如何评估记忆有效性?
- 你如何理解 SFT、DPO、RL 或 GRPO 在多模态模型对齐和 Agent 交互中的作用?
职位点评
薪资福利
JD未披露薪资与福利信息,但岗位要求硕士及以上学历和3年以上相关经验,属于技术门槛较高的算法研究岗位。补偿性动机满足度主要来自岗位专业度,薪资竞争力无法从原文直接确认。
成长发展
岗位覆盖 Omni 多模态大模型、全双工交互、端云协同、多模态记忆和主动式 Agent 等前沿方向,并鼓励形成论文、专利和技术报告。对希望提升前沿算法研究、工程落地和学术产出能力的求职者非常匹配。
工作生活
JD仅明确工作地点为北京,未提及远程、弹性办公、双休或加班情况,因此生活化动机满足度无法充分判断。岗位涉及算法研究、模型训练和产品落地,原文未给出具体工时或办公灵活性信息。
使命价值
岗位聚焦多模态 Agent、智能终端交互和个性化智能助手,有机会提升真实场景下的人机交互体验,技术价值较明确。JD未直接描述社会使命或公共价值导向,意义感主要来自前沿技术探索与产品落地。
联想 的其他在招职位
Advisory Researcher, On-Device Model & Agent Efficiency
联想 · 北京市AI 估算 · 3.5–6.5万Sr. Researcher, Model & Agent Evolution
联想 · 北京市AI 估算 · 6.0–10.0万[LPS] Bid Manager
联想 · 香港特别行政区AI 估算 · 2.5–4.5万AI互连通信资深研究员
联想 · 北京市AI 估算 · 4.5–7.5万Sr. Researcher, Omni & Multimodal Interaction Researcher
联想 · 北京市AI 估算 · 6.0–10.0万