[发明专利]为图像处理进行点云配准的方法和系统

说明书

本发明提供了点云配准的方法和系统。该方法的特征在于包括：从一个或多个相机获得同一场景的多个图像的图像数据，多个图像包括各自分别与第一点云和第二点云相关联的第一图像和第二图像，第一点云和第二点云二者分别形成该场景；生成各自分别包围来自相应的第一点云和第二点云的点并在第一点云和第二点云中具有位置和尺寸的三维的第一重叠区域和第二重叠区域；迭代地修改第一重叠区域和第二重叠区域的位置或尺寸或这两者，以生成每次迭代的到目前为止最佳的第一重叠区域和第二重叠区域，直至满足收敛标准为止；并且至少部分地基于最佳的重叠区域来建立变换，并且变换包括旋转部分、平移部分或这两者，以在第一点云和第二点云之间转换点位置。

背景技术

可提供相机阵列(例如可以设置在平板设备或智能手机上)以从不同角度捕获同一场景的多个图像。通过移动单个相机以从不同角度捕获同一场景的图像，可以实现相同的效果。然后，这些图像可用于生成深度图，进而生成3D几何或语义模型，以便在场景的3D空间中准确地定位对象。这样做是为了能够测量场景中的对象、或场景中的各个对象之间(或从相机到对象)的距离，以在期望知晓场景中对象的大小、位置、或身份时进行计算机视觉、人工智能、对象辨识、头戴式3D显示(HMD)或视点显示(point of view displays)等。

许多这样的常规系统为每个图像生成点云，然后匹配来自从不同角度看的场景的不同图像的点。一旦将这些点进行了匹配，就可以使用三角测量或其他算法来测量从相机到这些点的深度以及进行其他测量。这通常使用迭代最近点(ICP)方法来执行。但是，这些方法对于下述系统而言通常是不准确的：系统沿着从移动的相机生成的帧序列进行图像比较。当从一个相机位置到下一相机位置的移动跨度太大时，系统无法准确确定正确的对应点对，从而导致高错误率。此外，这样的系统太慢，因为每次迭代通常都包括针对进行配准的点云中所有点的计算，这可能会导致用户查看图像时出现停顿，或者在基于场景中的3D对象的位置和/或身份来执行自动操作时出现延迟。

附图说明

在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：

图1A和图1B是场景的一对图片，该场景具有由点云形成的、并由移动的相机拍摄的对象；

图2是根据本文公开的至少一种实现方式的点云配准(point cloudregistration)方法的流程图；

图3是根据本文公开的至少一种实现方式的为图像处理进行点云配准的方法的流程图；

图4是根据本文公开的至少一种实现方式的主轴提取方法的流程图；

图5A-图5G是根据本文公开的至少一种实现方式的为图像处理进行点云配准的方法的详细流程图；

图5H是根据本文公开的至少一种实现方式的用于解释立方体重叠区域上的主轴替代选择的示意图；

图6是使用常规方法的点云匹配得到的重建场景的图像；

图7是使用常规方法的点云匹配得到的重建场景的图像；

图8是使用常规方法的点云匹配得到的重建场景的图像；

图9是使用常规方法的点云匹配得到的重建场景的图像；

图10是使用常规方法的点云匹配得到的重建场景的图像；

图11是根据本文公开的实现方式中的至少一者的使用为图像处理进行的点云配准的方法得到的重建场景的图像；

图12是示例系统的示意图；

图13是另一示例系统的示意图；并且

图14示出了全部根据本公开的至少一些实现方式布置的另一示例设备。