海尔
多模态交互工程师/专家
多模态交互工程师/专家
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Ai模型集成
多模态交互
异步编程
状态机
视觉理解
语音交互
值不值得投
73综合评分
综合评分 73
聚焦多模态AI前沿技术，平台稳定资源充足，技术成长空间大但工作强度中等偏上。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
与人工智能中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 780 个在招 · 其中人工智能 9 个
市场机会
选择面较广
上海 · 人工智能 · 约 380 个在招
职位详情
关于这个职位
负责多模态交互系统的核心模块设计与代码实现，结合语音、图像及设备状态构建流式输入与上下文管理机制
深度对接AI大模型完成推理适配与工具调用，主导终端与云端联调测试，持续优化响应延迟与系统稳定性，保障复杂场景下的流畅用户体验
最低要求
计算机、人工智能、通信或相关专业背景，具备扎实的数据结构、操作系统与软件工程基础
熟练使用 C / C++、Python 或其他主流语言，具备生产代码开发与调试能力，能够独立交付模块并定位性能问题
具备语音交互、视觉理解、对话系统或 AI 运行时中至少一个方向的项目经验，能够说明模块设计、效果验证及问题定位过程
理解多模态模型或对话模型的输入输出、上下文及工具调用机制，能够完成推理集成、失败样本分析和基本效果评测
熟悉异步编程、状态机和流式通信，能够处理乱序、重复回调、超时、取消及跨模块状态同步问题
具备终端或服务端 AI 功能联调经验，能够结合链路日志及评测数据分析响应时延、资源消耗和交互失败原因
具备良好的测试、文档与协作习惯，愿意结合真实设备及用户反馈持续改进功能，并关注隐私和设备操作权限
工作职责
负责交互模块设计、编码、测试与上线维护，开发流式输入、会话管理、上下文及交互编排功能，完善可复用接口
结合语音、图像、屏幕内容和设备状态实现多模态交互功能，处理时间对齐、事件关联、指代目标及过期上下文问题
研发交互状态机及实时调度逻辑，实现轮次判断、打断、取消与恢复，结合模型或算法输出处理连续对话和多设备冲突
对接语音、视觉语言及对话模型，完成输入组织、推理适配与结果校验，分析失败样本，协同算法团队迭代模型及交互策略
将交互意图映射为设备工具调用，完成参数与权限校验、执行状态回传、意图澄清及失败反馈，验证用户所指与执行目标一致
开展终端与云端联调，分析首响应、打断时延、内存及功耗，优化异步处理、缓存和推理调用，保障弱网降级与长时稳定性
构建场景数据、交互回放与自动化评测，覆盖噪声、遮挡、多用户及错误指代等用例，验证模型和策略升级效果
与产品、设计、算法、音视频及终端团队快速验证原型，完善日志、文档与版本兼容，跟进灰度发布及线上问题闭环
AI 洞察
优缺点分析
优点
- 依托头部家电企业海量真实设备场景，技术落地空间广阔
- 接触前沿多模态大模型与端侧AI技术，能快速积累高含金量项目经验
- 平台稳定且研发资源丰富，利于长期技术深耕
- 需同时兼顾端侧性能约束与云端算力调度，系统复杂度极高
- 跨部门协同频繁，需平衡算法效果、产品体验与工程落地
- 弱网环境与真实用户场景下的异常处理难度大
缺点 / 挑战
- 适合具备扎实工程基础、对AIoT与人机交互有浓厚兴趣，且能承受高复杂度系统挑战的技术人才
角色解读
- 可向多模态AI架构师或首席交互专家方向发展，主导下一代人机交互范式设计
- 也可横向拓展至AIoT产品负责人或技术管理岗，统筹软硬件协同创新
- 负责多模态交互系统的核心模块设计与代码实现，打通语音、视觉与设备控制链路
- 搭建交互状态机与流式通信框架，处理复杂上下文管理与并发冲突
- 主导终端与云端的联调测试，持续优化响应延迟与系统稳定性
- 精通C++/Python等语言，具备扎实的底层系统与数据结构基础
- 深入理解多模态大模型原理及工具调用机制，能独立完成推理集成与效果评测
- 熟练掌握异步编程、状态机设计与流式数据处理，具备跨团队协作与性能调优能力
申请策略
- 提前研究海尔智家最新多模态产品形态，准备针对真实设备交互痛点的解决方案思路
- 面试时重点展示跨团队沟通与复杂问题拆解能力
- 突出多模态交互或AI系统集成项目，量化展示性能优化指标（如延迟降低X%、功耗下降Y%）
- 详细阐述状态机设计、异步通信及故障排查的具体方案
- 强化C++高性能编程与内存管理技巧，补充大模型Agent框架与Tool Calling实战经验
- 提升分布式系统联调与自动化测试脚本编写能力
面试指南
- 采用STAR法则结构化回答，先阐明业务场景与技术选型依据，再分步骤说明架构设计、核心难点突破及最终量化成果
- 强调数据驱动决策与迭代验证过程
- 请描述你设计过的最复杂的交互状态机，如何处理并发冲突与异常恢复？
- 在多模态大模型集成中，如何保证流式输出的低延迟与高准确率？
- 遇到终端弱网或高功耗场景，你会如何进行性能瓶颈定位与优化？
- 复习操作系统进程调度、网络协议栈及常见设计模式
- 梳理过往项目中关于异步回调、超时重试及状态同步的踩坑经验
- 了解当前多模态大模型在端侧部署的最新趋势
职位点评
薪资福利75
成长发展85
工作生活55
使命价值70
薪资福利
75中等
作为已上市跨国巨头，提供具有市场竞争力的薪酬与完善的福利体系，能满足较高的物质回报预期。
薪资信号未披露（AI估算：3.0千–6.0万/月）
成长发展
85较高
岗位深度参与多模态大模型与AIoT前沿技术落地，提供丰富的技术探索空间与跨领域协作机会。
技术前沿前沿/新兴技术
技术栈C++、Python、多模态大模型、状态机、异步编程、流式通信
业务类型profit_center
工作生活
55较低
传统制造企业数字化转型期节奏较快，需频繁参与跨部门联调与线上问题闭环，WLB一般。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
致力于通过智能化交互提升家居生活品质，契合改善大众生活的社会价值导向。
行业发展稳定成熟行业
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs