基于当前主流语音系统(如SSPE、唤醒、VAD、ASR、NLU、DM、TTS、LLM等)进行开发
设计和实现融合语音、驾驶员监控系统(DMS)摄像头、乘员监控系统(OMS)摄像头、行车记录仪、麦克风、传感器、音频系统状态、声纹和车辆状态数据的多模态融合方案
将多模态输入归一化和结构化,形成适合LLM推理的系统上下文表示,以支持未来的LLM助手用例,例如:上下文感知对话、助手记忆收集与应用等
设计和维护一致的多模态数据管道,处理数据从车辆系统流向LLM就绪的上下文表示过程中的时间对齐、归一化和状态一致性
通过面向服务的API调用车辆系统能力,实现对车辆功能的意图驱动控制
集成和抽象来自多个车辆ECU(音频、摄像头、传感器、车身、ADAS等)的数据,并具备独立探索和接入新数据源的能力
与电子电气(EE)、平台、人工智能(AI)和用户体验(UX)团队紧密合作,充当跨团队的技术桥梁