[发明专利]一种基于深度信息融合的室内场景三维点云重建方法和系统

权利要求书

1.一种基于深度信息融合的室内场景三维点云重建方法，其特征在于，包括：

采用深度相机，获取场景的彩色图像和深度图像；

融合彩色图像和深度图像，并进行特征提取、匹配，获得特征点匹配信息；

根据特征点匹配信息，确定深度相机的位姿，并筛选出关键帧；

根据关键帧所包含的彩色图像和深度图像，生成每个关键帧的三维点云；

根据深度相机的位姿，逐帧拼接每个关键帧的三维点云，获得全局一致的场景三维点云模型。

2.如权利要求1所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，所述融合彩色图像和深度图像，并进行特征提取、匹配，获得特征点匹配信息，具体包括：

对彩色图像进行特征提取；

对每个特征点，计算基于深度值的BRIEF描述子；

确定BRIEF描述子间的汉明距离；

根据汉明距离，采用双向FLANN特征匹配算法进行特征匹配，获得特征点匹配信息。

3.如权利要求2所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，所述对每个特征点，计算基于深度值的BRIEF描述子，具体包括：

对每个特征点定义图像邻域；

在特征点的图像邻域中选取测试点对；

分别比较测试点对的灰度值和深度值大小，获得基于深度值的BRIEF描述子。

4.如权利要求3所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，所述在特征点的图像邻域中选取测试点对，具体包括：

将测试点对旋转角度，得到新的点对；并根据特征点方向对应的旋转矩阵，构造出测试点对的校正矩阵；

使用图像邻域中某个点的5×5邻域灰度平均值代替某个点对的灰度值，及使用图像邻域中某个点的5×5邻域深度平均值代替某个点对的深度值；

从测试点对集合中获取256个测试点对。

5.如权利要求1所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，所述确定深度相机的位姿，具体包括：

基于RANSAC算法和ICP算法，估计深度相机的位姿。

6.如权利要求1所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，所述筛选出关键帧，具体包括：

遍历每一帧图像，根据帧的内点数，判断该帧图像是否作为关键帧；

设置关键帧间距最小阈值和最大阈值；当距离上一关键帧至少为最小阈值时，插入关键帧；当距离上一关键帧为最大阈值时，必须插入关键帧；局部建图线程中，关键帧队列的关键帧数量不超过3个时，插入关键帧。

7.如权利要求1所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，还包括：

采用图优化理论，对深度相机的位姿进行局部图优化；

采用词袋模型，对局部图优化后的位姿进行回环检测和全局优化。

8.如权利要求7所述的基于深度信息融合的室内场景三维点云重建方法，其特征在于，所述采用图优化理论，对深度相机的位姿进行局部图优化；具体包括：

确定待优化的局部关键帧和局部地图点；所述待优化的局部关键帧包括：当前关键帧、与当前关键帧存在15个以上重复观测到的地图点的共视关键帧、及能观测到局部地图点却不属于当前关键帧和共视关键帧的关键帧；

将局部关键帧顶点、局部地图点顶点、及每一对关联的局部地图点和局部关键帧构建的边加入到位姿图中；

更新局部关键帧的位姿、局部地图点的3D位置、平均观测方向，完成局部图优化。