[发明专利]一种基于显示颜色和几何信息的点云配准方法

说明书

本发明公开了一种基于显示颜色和几何信息的点云配准方法，本发明提出一种将颜色信号显式嵌入到几何表示中的点云配准方法。包括以下步骤：(1)获取RGBD数据，(2)图像对应点匹配，(3)提取图像对应点周围区域的特征，(4)将上述特征显式投影到3D点云上，(5)基于上述融合特征寻找点云对应点，(6)计算两帧点云之间的旋转和平移矩阵。与仅使用几何表示的方法不同，本方法提出的2D‑3D跨模态学习算法，将从颜色信号中学习到的特征显式地嵌入到几何表示中，重叠区域不仅可以从点云中推断出来，还可以从纹理外观中推断出来。该方法与隐式地投影每个像素特征或颜色到点云上的方法，以及纯点云的方法相比，能进一步提升配准精度。

技术领域

本发明属于计算机视觉，计算机图形学领域，具体涉及一种针对点云的配准方法。

背景技术

目前较为常用的点云配准算法是迭代最近点算法(ICP算法，Besl P J,McKay ND.Method for registration of 3-D shapes,Sensor fusion IV:control paradigmsand data structures.SPIE,1992)，该算法的不足在于其依赖于一个较好的配准初值，否则迭代结果可能会陷入局部收敛。在一些配准初值较差或者待配准的两个点云之间的重叠区域较小的场景里，迭代最近点算法常常无法取得令人满意的结果，针对这一问题，一些基于深度学习的点云配准方法被陆续提出。文献Predator(S.Huang,et.al.,Predator:Registration of3dpoint clouds with low overlap.IEEE Conference on ComputerVision and Pattern Recognition,2021)探讨了一种基于深度神经网络，采用首先找到对应点，然后使用RANSAC估计两帧点云之间的旋转和平移矩阵的方法来实现配准。

通过找对应点的方式对于计算两帧之间的变换矩阵是必不可少的，并且对应点只出现在重叠区域。在这种情况下，估计两帧的重叠区域对于点云配准至关重要。直观地说，我们不仅可以从点云等几何输入中识别重叠区域，还可以从图像等颜色信号中识别重叠区域。然而，当前基于深度学习的点云配准方法仅使用几何作为唯一的输入。因此，探索如何结合RGB图像的深度特征是有价值的。通过这种方式，各种现有的2D方法和预训练模型也可以进一步用于3D点云配准任务。鉴于这一观察，我们提出将颜色信号的深度特征显式地嵌入到点云表示中，以便高效地预测配准任务中的对应点，从而实现高精度的点云配准。

发明内容

针对现有技术的不足，本发明提供了一种点云配准方法，包括如下步骤：

步骤1，获取RGBD数据；

步骤2，图像对应点匹配；

步骤3，提取图像对应点周围区域的特征；

步骤4，将上述特征显式投影到3D点云上；

步骤5，基于上述融合特征寻找点云对应点；

步骤6，计算两帧点云之间的旋转和平移矩阵。

步骤1中，使用RGBD传感器采集数据。

步骤2包括：

方法一：使用神经网络SuperGlue来预测图像帧之间的像素对应点，

方法二：使用传统算法的特征描述子SIFT来预测图像帧之间的像素对应点。

步骤3中，使用2D预训练网络Pri3D实现图像像素对应点周围区域的特征提取，提取以每个对应点像素为中心的正方形区域的图像特征。

步骤4中，根据相机内参和变换矩阵，将对应点像素为中心的区域经2D预训练网络Pri3D提取的深度特征，显式投影到3D点云上。