[发明专利]多模态场景信息采集与重建方法及系统

权利要求书

1.一种多模态场景信息采集与重建方法，其特征在于，包括以下步骤：

利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；

对所述至少一个多模态场景信息进行整合，生成原始数据集；以及

利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。

2.根据权利要求1所述的方法，其特征在于，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。

3.根据权利要求2所述的方法，其特征在于，所述对所述至少一个多模态场景信息进行整合，生成原始数据集，包括：

利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；

由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。

4.根据权利要求1或3所述的方法，其特征在于，所述利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：

播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；

基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，在对所述至少一个多模态场景信息进行整合之前，还包括：

确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。

6.一种多模态场景信息采集与重建系统，其特征在于，包括：

采集模块，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；

生成模块，用于对所述至少一个多模态场景信息进行整合，生成原始数据集；以及

重建模块，用于利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。

7.根据权利要求6所述的系统，其特征在于，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。

8.根据权利要求7所述的系统，其特征在于，所述生成模块，包括：

第一获取单元，用于利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；

第二获取单元，用于由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的多模态场景信息采集与重建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的多模态场景信息采集与重建方法。