[发明专利]基于RGB-D图像的室内场景布局估计及目标区域提取方法

权利要求书

1.基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：包括以下步骤，

步骤1、场景布局估计：将深度图转化为密集3D点云，通过计算点云间的三维欧式距离进行平面分割划分平面区域与非平面区域，并将所得平面区域进行分类，分为边界平面与非边界平面；

步骤2、图像过分割：利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；

步骤3、过分割层次分组：利用颜色、纹理、尺寸、吻合四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；

步骤4、目标边界框匹配：对于平面区域的目标，边界平面区域都直接被采用，对每一个非边界平面，找到它的边界点计算与其他非边界平面的最小欧式距离，将距离小于一定阈值的平面拼合起来，采用拼合后的非边界平面区域，位于平面区域的目标，只保留由RGB图像产生的目标区域；对于非平面区域的目标，除了与非平面区域重叠面积过小的目标区域以外，其他目标区域都直接被采用，将所有采用的目标区域转换为遮罩，对这些遮罩一一匹配包含遮罩在内的最小矩形边界框，得到边界框。

2.根据权利要求1所述的基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：步骤1具体过程为，

步骤1.1、平面分割：在深度图上进行一致性采样得到三角点集，对于其中的每个三角点组采用RANSAC算法匹配一个候选平面；然后在3D点云空间搜寻平面内点，当一个点到该平面的三维欧氏距离小于内点距离公差D_tol时，定义该点为平面的内点，内点距离公差D_tol计算如式(1)；最后移除内点细小平面，并拼合空间上相近或者接近共面的平面；

式中，f为焦距，b为传感器的基线长度，m为线性归一化参数，Z代表深度值；

步骤1.2、平面分类：根据得到的主要平面区域，假设平面的法线向量面向观察者，计算在平面另一面的点云数与整个场景的点云总数量之比，将小于阈值的平面分类为边界平面，大于阈值的平面分类为非边界平面。

3.根据权利要求1所述的基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：步骤2具体过程为，

步骤2.1、基于RGI颜色空间的分割：将RGB三通道图像转换为归一化RG通道加上亮度I通道，即RGI颜色空间，然后采用基于图的分割方法对RGI图像做过分割；

步骤2.2、基于同态滤波后的灰度图的分割：对RGB图像加上同态滤波处理，对处理后输出的灰度图采用基于图的分割方法进行过分割；

步骤2.3、基于空洞填补后的深度图的分割：利用全局优化着色方法对深度图进行空洞填补，采用基于图的分割方法对填补后的深度图进行过分割；

步骤2.4、基于RGB-D混合通道的分割：采用约束参数最小割的前景分割方法，结合RGB图像信息与深度信息，对RGB-D混合通道的图像进行过分割，基于式(2)的能量公式：

式中λ∈R，v是所有像素点的集合，ε为相邻像素间的边缘集合，C_λ为代价函数，给每个像素赋予标签时都会产生一个代价，二元势函数V_μv作为惩罚函数，当给相似的相邻像素赋予不同的标签时，就会产生一个惩罚值。

4.根据权利要求1所述的基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：步骤3具体过程为，

步骤3.1、计算出所有两两相邻区域的相似度集合，找出相似度最大的两个区域r_i和r_j，将其合并为一个新区域r_t，添加到区域集合中；

步骤3.2、从相似度集合中移除r_i和r_j与其相邻区域的相似度，计算新区域r_t与其相邻区域的相似度，添加到相似度集合中；

步骤3.3、重复步骤3.1～3.2，直到整张图像成为一个大区域，完成图像的层次分组，获取所有尺度大小的目标区域。

5.根据权利要求1所述的基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：步骤4具体过程为，

步骤4.1、对于平面区域，边界平面区域都直接被采用；对每一个非边界平面，找到它的边界点计算与其他非边界平面的最小欧式距离，将距离小于阈值的平面拼合起来，采用拼合后的非边界平面区域；而位于平面区域的目标，只保留由RGB图像产生的目标区域；

步骤4.2、对于非平面区域，除了与非平面区域重叠面积过小的目标区域以外，其他目标区域都直接被采用；

步骤4.3、匹配目标边界框：将所有采用的目标区域转换为遮罩，对这些遮罩一一匹配包含遮罩在内的最小矩形边界框，然后去除细小边界框，并将边界框按面积大小排序，由上至下重复计算边界框间的交叠率，滤去交叠率大于一定阈值的边界框，得到最后的目标区域边界框。