[发明专利]一种基于深度图像的实时平面检测及提取的方法

说明书

本发明公开了一种基于深度图像的实时平面检测及提取的方法。本发明包括如下步骤：步骤1：对深度图像做预处理，并对深度图像提取区块信息；步骤2：对区块的几何参数分布做降维统计；步骤3：对估计的各个平面法向量查找平行平面；步骤4：平面参数优化。本发明根据深度图像的成像原理及平面结构的空间特性，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。从而准确高效地从深度图像中提取平面结构信息。

技术领域

本发明涉及机器人定位、三维重建领域，尤其涉及深度图像的平面结构检测及分割方法。

背景技术

最早在2010年，微软(Microsoft)公司研发出一种低成本的结构光深度相机，该相机能够在室内小范围的场景中获取精确的深度图像，从而能够重建出室内的场景。在2011年的SIGGRAPH(Special Interest Group on Graphics and Interactive Techniques，是图形学及互交技术特殊爱好者集团的简称)会议上微软展示了KinectFusion实时重建算法，Newcombe是该算法项目的主要负责人，该算法是首个实现实时稠密场景重建的算法。Izadi在此基础上完成了场景与人的动态交互。

2016年，Whelan提出一种利用彩色图像特征检测地图回环的方法，该方法同时还能够检测单个点光源在空间中的位置。该文章也是面元表达模型(SurfelRepresentation)的代表。

在离线(非实时)稠密重建领域的技术方法，对实时稠密重建也有非常深远的影响，Zhou Q Y团队在该领域做出巨大的贡献，在2012年该团队提出一种基于兴趣点的稠密重建方法。

然而直到现在，由于室内无法接收GPS信号，仍然没有一种适合于真实场景的无漂移室内定位、重建算法，该领域最近几年关于无漂移的室内定位重建算法研究中，核心都在于检测、分割深度相机所拍摄到的平面作为基准点，以提高定位的精度。至今为止，能够实时地对深度图提取平面的方法仅基于曼哈顿平面假设的前提下，即假设空间中所有平面均相互正交，没有涉及存在非正交平面的情况。

发明内容

本发明提出一种实时的、可并行的基于深度图像的平面检测及分割方法。

一种基于深度图像的实时平面检测及提取的方法，可以准确地对场景中存在非正交平面的深度图提取出平面信息，包括以下步骤：

步骤1：对深度图像做预处理，并对深度图像提取区块信息，具体步骤如下：

1-1.使用双边滤波算法对深度图像做滤波处理；

1-2.然后将深度图像划分为多个等大小矩形的区块；

1-3.如图2所示，将矩形区块中的像素反投影到三维空间中得到三维点云，提取区块的切平面信息，包括区块的空间坐标、切平面的法向量、切平面与原点的距离、区块置信度。记第(u,v)区块为patch(u,v)。

步骤2：对区块的几何参数分布做降维统计；

2-1.如图3所示，将各个区块的法向量做球极映射从三维空间nx-ny-nz到二维平面Px-Py上；

2-2.对映射到二维平面Px-Py上的法向量点做栅格划分，并以高斯加权的方式对二维平面Px-Py上的法向量点做直方图统计，得到Px-Py直方图；

2-3.对Px-Py直方图查找8-领域极大值，并将对应点Px-Py坐标做球极逆映射得到估计的平面法向量参数。

步骤3：对估计的各个平面法向量查找平行平面；

3-1.将所有区块的空间坐标与估计的平面法向量作内积，即将区块的空间坐标向法向量方向上做投影；

3-2.对投影得到的区块分布做直方图统计，并查找极大值，即得到该法向量上各个平行平面与原点的距离；