[发明专利]一种多模态感知融合系统

权利要求书

1.一种用于全场景的多模态感知融合系统，其特征在于，所述多模态感知融合系统包括上位机、激光雷达、多目相机、IMU、红外深度相机、电源，所述多目相机包括两个FLIR工业网口相机和两个USB3.0相机，其组成多模态感知融合系统的步骤为：

S1：安装硬件：将激光雷达以以太网接口连接的方式连接到上位机，将两个FLIR工业网口相机以以太网接口方式连接到上位机，将两个USB3.0相机、IMU以及红外深度相机分别连接到上位机的usb3.0接口，将各部分连接好后通过数据线与电源相连接；

S2：软件的安装和数据的获取：打开Linux Ubuntu系统，安装配置好各个模块的驱动和软件，使用Robot Operating System启动各个模态的节点，并且使用RVIZ将获取到的激光雷达的点云、多目相机的RGB图像、IMU的加速度计以及陀螺仪信息以及红外深度相机的景深图的这些数据都显示出来；

S3：模型构建：接着使用slam理论体系将获取到的数据进行处理，该处理流程分为两步，分别是前端和后端，前端负责各个模块的特征提取和特征之间的相关性的表示，后端负责参数的优化和三维重建以及定位，最后得出融合的最终模型和效果图。

2.根据权利要求1所述的一种用于全场景的多模态感知融合系统，其特征在于，所述多模态感知融合系统采用的操作系统为Linux Ubuntu系统，采用的中间件为RobotOperating System，使用的编程语言为c++和python。

3.根据权利要求1所述的一种用于全场景的多模态感知融合系统，其特征在于，所述激光雷达采用镭神智能c16-151B。

4.根据权利要求1所述的一种用于全场景的多模态感知融合系统，其特征在于，所述红外深度相机的数目为两个，所述红外深度相机和IMU采用Intel Real Sense D435i。

5.根据权利要求1所述的一种用于全场景的多模态感知融合系统，其特征在于，所述最终模型和效果图的得到是使用建模辨识中的麦夸特算法对外参数进行迭代优化，得到最优估计，从而得到最精确地模型和效果图。

6.根据权利要求1所述的一种用于全场景的多模态感知融合系统，其特征在于，所述激光雷达投影到地面的距离为10m，投影后下方会有锥形盲区，所述红外深度相机工作距离为0.2-10m，可以弥补激光雷达投不到的盲区。

7.根据权利要求1所述的一种用于全场景的多模态感知融合系统，其特征在于，所述激光雷达、多目相机、IMU、红外深度相机都分别具有独立的传感器。