[发明专利]基于二维图像的场景重建方法、电子设备及介质

说明书

本发明的实施例提供了基于二维图像的场景重建方法、电子设备及介质，其获取包含视觉标签的多个场景图像，基于每个场景图像中的视觉标签的成像来确定与该场景图像相关联的相机位姿信息，以及基于与场景图像相关联的相机位姿信息对多个场景图像进行空间排序并基于排序后的场景图像建立三维场景模型。由此可以快速地完成大规模二维图像的空间排序，从而能够快速、准确地重建三维场景模型。

技术领域

本发明涉及计算机视觉和图像学领域，尤其涉及一种用于使用二维图像重建三维场景模型的方法、电子设备及存储介质。

背景技术

从关于场景的多幅二维图像计算场景的三维特征并进行三维场景模型的重建是计算机视觉和图形学领域的一个重要研究方向。为了使用二维图像重建三维场景模型，一种方式是使用能够对其位置和姿态(以下统称为位姿)进行精确标定的专用相机来拍摄场景的大量二维图像，并记录在拍摄每张图像时该专用相机的位姿信息，之后，可以基于这些位姿信息来对图像进行空间排序，并进行三维场景重建。这种方式精确度较高，但需要专门的拍摄人员使用专用相机来进行拍摄，成本也很高。另一种方式是基于无序采集的二维图像来重建三维场景，其不需要使用专用相机来记录在拍摄每张图像时相机的位姿信息，而是两两计算所有二维图像的特征匹配，从而对这些二维图像进行空间排序以进行三维重建。然而，两两计算所有二维图像的特征匹配是一个非常耗时的任务，其时间复杂度为O(n^2)；例如，对于1000张图像，需要进行1000*1000/2-1000次特征匹配。而且，这种计算特征匹配的方式容易产生误差，并导致错误的重建结果，这对于具有重复纹理或者相似场景的图像而言尤为严重。因此，对于大规模的、无序采集的二维图像，目前没有比较好的方法来进行三维场景重建。

发明内容

本发明的方案提供了一种基于二维图像的场景重建方法、电子设备及介质，以快速、准确地重建三维场景模型。

上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供了一种基于二维图像的场景重建方法，包括：步骤a)对于需要进行重建的场景，获取多个场景图像，每个场景图像中包含至少一个预先布置在所述场景中的视觉标签；步骤b)至少部分地基于每个场景图像中的视觉标签的成像来确定与该场景图像相关联的相机位姿信息；以及步骤c)基于与场景图像相关联的相机位姿信息对多个场景图像进行空间排序并基于排序后的场景图像建立三维场景模型。

在本发明的一些实施例中，所述步骤c)可以包括从所获取的多个场景图像中选择与同一视觉标签关联的场景图像；以及对所选择的场景图像进行空间排序并基于排序后的场景图像进行局部场景重建。其中步骤c)还可以包括根据与场景图像关联的相机位姿信息从所选择的场景图像中滤除部分场景图像。

在本发明的一些实施例中，所述步骤c)可以包括：根据场景图像的相机位姿信息从所获取的多个场景图像中选择与相同相机位置和/或相同相机姿态相关联的场景图像；以及对所选择的场景图像进行空间排序并基于排序后的场景图像进行局部场景重建。

在本发明的一些实施例中，在步骤b)所确定的与场景图像相关联的相机位姿信息为下列中的至少一个：拍摄该场景图像时相机相对于该场景图像中包含的视觉标签的位姿信息；拍摄该场景图像时相机在世界坐标系下的位姿信息；或者拍摄该场景图像时相机在场景坐标系下的位姿信息。

在本发明的一些实施例中，所述步骤b)可以包括：基于每个场景图像中的视觉标签的成像确定拍摄该场景图像时相机相对于该视觉标签的位姿信息；识别每个场景图像中的视觉标签传递的标识信息；基于所述标识信息获取所述视觉标签在世界坐标系和/或场景坐标系下的位姿信息；以及基于相机相对于视觉标签的位姿信息和视觉标签在世界坐标系和/或场景坐标系下的位姿信息确定拍摄该场景图像时相机在世界坐标系和/或场景坐标系下的位姿信息。