工作内容:
多模态传感器融合感知端到端模型研发:
基于摄像头、激光雷达、3D/4D毫米波雷达等多模态传感器设计与开发融合感知模型与算法(包含但不限于:障碍物检测、OCC(Occupancy Network)、场景语义分割、跟踪等任务),提升在复杂场景、极端场景下的感知能力
构建覆盖Corner Case的自动化数据采集与标注系统,开发数据质量评估体系,建立数据-模型迭代闭环机制
通过自监督、弱监督学习提升模型泛化能力,加速数据飞轮,探索VLM、VLA等技术在数据飞轮中的实践与应用
轻图/无图模型研发:
基于多模态传感器设计与实现轻图、无图模型,实现L4下的轻图实时生成,包含拓补信息、各种道路属性等的实时生成,为L4大规模应用提供基础道路感知能力
构建轻图对应的数据闭环与数据飞轮,如挖掘算法、难例模拟生成方式、轻图适用的仿真系统等设计与实现
世界模型研发:
设计基于多模态传感器的世界模型,为复杂问题解决效果验证、端到端模型验证提供强有力的仿真验证能力与感知能力
构建为实现世界模型需要的数据闭环与数据飞轮,如数据采集、生成、自动化标注等相关强算法问题解决