[发明专利]一种基于深度信息融合的室内场景三维点云重建方法和系统

说明书

本发明公开了一种基于深度信息融合的室内场景三维点云重建方法，包括：获取场景的彩色图像和深度图像；融合彩色图像和深度图像进行特征提取、匹配；确定深度相机的位姿并筛选出关键帧；根据关键帧，生成每个关键帧的三维点云；根据深度相机的位姿，逐帧拼接每个关键帧的三维点云，获得全局一致的场景三维点云模型。本发明通过在特征提取中同时使用图像亮度信息和深度信息评判一个点是否为特征点，使得提取出来的特征点具有高度代表性，同时对提取出来的特征点进行均匀化操作，保证特征点的数量在合理范围内，有效地控制系统的计算量，提高了前端的精度，增强了前端的鲁棒性，使得后端优化的结果更加准确或者减少了后端优化的迭代次数。

技术领域

本发明涉及计算机图形学、计算机视觉、机器人技术领域，更具体的涉及一种基于深度信息融合的室内场景三维点云重建方法和系统。

背景技术

近年来，同步定位与地图构建(SLAM)问题再次成为计算机视觉和机器人研究领域的热点话题。SLAM可以被分为两部分讨论，即定位与建图，定位是指对机器人自身位置及姿态的描述，而建图则是对机器人周围环境信息的描述，当机器人知道自身的位置以及周围的环境信息后，机器人就可以帮助人类完成许多的工作。随着计算机视觉技术的快速发展，例如摄像头、激光雷达之类原先价格昂贵的产品，现在成本降低了许多，这使得SLAM在AR、机器人、无人机、无人驾驶等方面被广泛运用，推进了这些方面研究的进展，大大加速了计算机视觉的发展历程，提高了SLAM的技术价值。

对于基于特征点法的视觉SLAM系统，一个高精度的前端是非常有必要的。目前传统的视觉里程计采用ORB，SIFT，SURF或其变种等特征点方法，在特征提取的过程中考虑了光照、旋转，尺度等特性，但是这些方法并未考虑到像素深度值这一重要特性。

发明内容

本发明实施例提供一种基于深度信息融合的室内场景三维点云重建方法和系统，用以解决上述背景技术中提出的问题。

本发明实施例提供一种基于深度信息融合的室内场景三维点云重建方法，包括：采用深度相机，获取场景的彩色图像和深度图像；

融合彩色图像和深度图像，并进行特征提取、匹配，获得特征点匹配信息；

根据特征点匹配信息，确定深度相机的位姿，并筛选出关键帧；

根据关键帧所包含的彩色图像和深度图像，生成每个关键帧的三维点云；

根据深度相机的位姿，逐帧拼接每个关键帧的三维点云，获得全局一致的场景三维点云模型。

进一步地，所述融合彩色图像和深度图像，并进行特征提取、匹配，获得特征点匹配信息，具体包括：

对彩色图像进行特征提取；

对每个特征点，计算基于深度值的BRIEF描述子；

确定BRIEF描述子间的汉明距离；

根据汉明距离，采用双向FLANN特征匹配算法进行特征匹配，获得特征点匹配信息。

进一步地，所述对每个特征点，计算基于深度值的BRIEF描述子，具体包括：

对每个特征点定义图像邻域；

在特征点的图像邻域中选取测试点对；

分别比较测试点对的灰度值和深度值大小，获得基于深度值的BRIEF描述子。

进一步地，所述在特征点的图像邻域中选取测试点对，具体包括：

将测试点对旋转角度，得到新的点对；并根据特征点方向对应的旋转矩阵，构造出测试点对的校正矩阵；

使用图像邻域中某个点的5×5邻域灰度平均值代替某个点对的灰度值，及使用图像邻域中某个点的5×5邻域深度平均值代替某个点对的深度值；