[发明专利]一种多模态感知融合系统

说明书

本发明提供一种用于全场景的多模态感知融合系统，所述多模态感知融合系统包括上位机、激光雷达、多目相机、IMU、红外深度相机、电源，所述多目相机包括两个FLIR工业网口相机和两个USB3.0相机，其组成多模态感知融合系统的步骤为：安装各硬件、软件的安装以及数据的获取、模型的构建。本发明使用建模辨识中的麦夸特算法对外参数进行迭代优化，得到最优估计，从而得到最精确地模型和效果图，使得融合更加精准，能够达到实时的感知环境，并且该多模态感知融合系统小巧，重量较轻，可用于无人车车载，无人机机载，医疗行业，军事无人环境的建模，也可用于室内室外等各种复杂环境，为规划导航奠定基础。

技术领域

本发明属于多模态感知融合系统领域，尤其涉及一种用于全场景的多模态 感知融合系统。

背景技术

随着传感器技术和互联网的迅速发展，各种不同模态的大数据正在以前所 未有的发展速度迅速涌现。对于一个待描述事物(目标、场景等)，通过不同 的方法或视角收集到的耦合的数据样本就是多模态数据，通常把收集这些数据 的每一个方法或视角称之为一个模态。

狭义的多模态信息通常关注感知特性不同的模态，而广义的多模态融合则 通常还包括同一模态信息中的多特征融合，以及多个同类型传感器的数据融合 等，因此，多模态感知与学习这一问题与信号处理领域的“多源融合”、“多 传感器融合”，以及机器学习领域的“多视学习”或“多视融合”等有密切的 联系；多模态数据可以获得更加全面准确的信息，增强系统的可靠性和容错性。

在多模态感知与学习问题中，由于不同模态之间具有完全不同的描述形式 和复杂的耦合对应关系，因此需要统一地解决关于多模态的感知表示和认知融 合的问题。多模态感知与融合就是要通过适当的变换或投影，使得两个看似完 全无关、不同格式的数据样本，可以相互比较融合，这种异构数据的融合往往 能取得意想不到的效果。

目前，多模态数据已经在互联网信息搜索、人机交互、工业环境故障诊断 和机器人等领域发挥了巨大的作用，视觉与语言之间的多模态学习是目前多模 态融合方面研究成果较为集中的领域，在机器人领域目前仍面临很多需要进一 步探索的挑战性问题；由此，我们研制了一套多模态感知系统，将多目视觉， 激光，双目红外，深度，IMU等多模态，这些硬件按照不同的方位进行安装。 以实现对大型场景，小型工件的自动化感知，扫描与建模，能够实现对全场景 的感知，适用于室内和室外，对环境的RGB图像信息赋予深度信息和距离信息， 但其中最主要的难点在于：异种多源传感器，特征的提取，以及特征之间相关性的求解使得融合更加精准，能够达到实时的感知环境。

发明内容

为了解决上述技术问题，本发明提供一种用于全场景的多模态感知融合系 统，以实现对大型场景，小型工件的自动化感知，扫描与建模。所述多模态感 知融合系统包括上位机、激光雷达、多目相机、IMU、红外深度相机、电源，所 述多目相机包括两个FLIR工业网口相机和两个USB3.0相机，其组成多模态感 知融合系统的步骤为：

S1：安装硬件：将激光雷达以以太网接口连接的方式连接到上位机，将两 个FLIR工业网口相机以以太网接口方式连接到上位机，将两个USB3.0相机、 IMU以及红外深度相机分别连接到上位机的usb3.0接口，将各部分连接好后通 过数据线与电源相连接；

S2：软件的安装和数据的获取：打开Linux Ubuntu系统，安装配置好各个 模块的驱动和软件，使用Robot Operating System启动各个模态的节点，并且 使用RVIZ将获取到的激光雷达的点云、多目相机的RGB图像、IMU的加速度计 以及陀螺仪信息以及红外深度相机的景深图的这些数据都显示出来；

S3：模型构建：接着使用SLAM理论体系将获取到的数据进行处理，该处理 流程分为两步，分别是前端和后端，前端负责各个模块的特征提取和特征之间 的相关性的表示，后端负责参数的优化和三维重建以及定位，使用建模辨识中 的麦夸特算法对外参数进行迭代优化，得到最优估计，从而得出融合的最终模 型和效果图。