[发明专利]几何信息与光度信息相结合的场景分类点云粗配准方法

说明书

本发明涉及机器视觉领域、图像处理，为实现鲁棒有效的室内场景点云粗配准。为此，本发明采取的技术方案是，几何信息与光度信息相结合的场景分类点云粗配准方法，通过对每一帧的点云数据与图像数据进行关键点的检测、描述与匹配，依据当前场景的类别，将几何信息和光度信息适应性地结合，估计刚性变换矩阵，进而进行室内场景的稀疏建图。本发明主要应用于场景分类点云粗配准场合。

技术领域

本发明涉及机器视觉领域、图像处理，具体涉及几何信息与光度信息相结合的场景分类点云粗配准方法。

背景技术

场景重建是机器视觉领域中许多应用的重要问题，如地图构建、增强现实、语义分割等。近几年，随着RGB-D(RGB-Depth，RGB-深度)传感器进入市场，凭借其尚可的精度和低廉的价格，使用RGB-D传感器的室内场景重建得到更加广泛的关注与研究。RGB-D传感器能够同时获得视场范围内场景的RGB图和深度图，并且依据已经对齐的RGB图和深度图方便地获取场景的彩色点云表达。但是由于RGB-D传感器的视场范围有限，单帧点云均处在各自的相机坐标系下，因此要想获得更大规模的室内场景三维点云，需要对不同帧进行点云配准。

点云配准是指确定最佳的刚性变换矩阵使得由不同位置姿态的传感器获得的处在各自坐标系下的点云统一到同一坐标系下。点云配准按照配准结果的精确程度可分为粗配准和精配准。粗配准可通过基于局部特征描述的关键点匹配以及RANSAC(RANdom SAmpleConsensus，随机采样一致性)算法获得粗略的变换矩阵估计，而精配准多采用ICP(Iterative Closest Point，迭代最近点)及其变种算法，以获得更加精确的变换矩阵估计。精配准一般要求以一个粗略的变换矩阵估计作为迭代初始值，从而加快算法迭代过程并且避免落入错误的局部最优解。

基于RGB-D传感器的场景重建可分为稀疏建图和稠密建图两大类。稀疏建图是指稀疏地选取关键帧，通过将关键帧的点云进行配准与融合，快速地实现相对粗糙的场景重建。稠密建图是指使用全部的RGB-D数据，对每一连续帧进行配准融合，从而实现更加精细的场景重建。稀疏建图中，由于关键帧之间的相机位姿变化较大，两帧点云之间的重叠度相对较小，往往先基于局部特征描述实现点云的粗配准，再将粗配准的结果作为ICP迭代的初始值实现点云的精配准，即完成了由粗到精的配准过程。而在稠密建图中，考虑到RGB-D传感器本身帧率足够高，连续帧间相机位姿变化较小，点云之间有相当大的重叠度，因此一般可直接采用ICP算法实现帧间配准。尽管在稠密建图中利用足够多的RGB-D数据可以产生更加精细的场景模型，但是稠密建图会产生大量的存储开销与运算开销，对硬件和软件都提出了极高的要求，对大规模的场景重建尤其如此，而且稠密建图中大量的连续帧间的配准会产生更大的累积误差，降低场景重建精度。而稀疏建图则能够以更小的开销更加高效地构建出大规模场景，并且由于其配准次数远少于稠密建图，在采用了有效的从粗到精的配准算法的情况下，累积误差也相对较小。如前所述，好的粗配准结果有助于实现之后高效正确的精配准。因此，鲁棒有效的粗配准算法是保证稀疏建图质量的关键一步。

基于局部特征描述的粗配准算法流程包括关键点检测、关键点描述、关键点匹配以及基于RANSAC的变换矩阵估计。对于使用RGB-D传感器的室内场景点云配准问题，RGB图和深度图为点云配准提供了更多可利用的信息。依据场景的几何结构信息，可直接对三维点云进行三维关键点的检测、描述与匹配。而依据场景的光度纹理信息，可先对RGB图进行二维关键点的检测、描述与匹配，再依据关键点的深度值，将二维匹配点对映射至三维空间。而三维几何信息与二维光度信息相结合的方法也被研究与应用，并被认为在多数情况下对于点云配准是有帮助的。但在复杂多变的现实场景中，几何信息与光度信息并不总是都足够丰富且均衡。因此判断当前待配准场景的性质，以不同的方式将几何信息与光度信息相结合将有助于提高粗配准算法的鲁棒性与有效性。

发明内容