[发明专利]基于RGBD描述符的室内场景语义分割方法

说明书

技术领域

本发明涉及图像处理方法技术领域，尤其涉及一种基于RGBD描述符的室内场景语义分割方法。

背景技术

图像分割作为一个计算机视觉领域的基础问题在物体识别、场景理解、机器人避障等领域有着广泛的应用。大多数的场景标注研究集中在室外场景，2010年，Gupta等人将场景解析为语义分割、深度顺序、几何估计和支撑关系组成三维图结构。室内场景标注是一个富有挑战性和了解不充分的问题，相对于室外场景推断，室内场景往往因为室内环境的杂乱性和复杂性而变得困难。

随着RGB-D传感器推出，例如Microsoft Kinect，有很多新的研究已经开始展开，它们利用3D信息解决在计算机视觉方面比较困难的问题。Kinect提供同步的颜色和深度信息，提供了普通摄像机在三维投影过程中丢失的3D几何信息，并且包含的深度信息可作为一个独立于室内环境照明条件的通道。由于深度图像像素点的信息具有空间定位性，因此在应用中可以利用空间几何量来做分割处理，这样做会有更好的稳定性，这一思路也是最近深度图像分割研究的一个主要方向。目前大多数的研究都侧重于物体识别而不是场景理解。其中Silberman于2012年发表在ECCV上的文章不仅在区域级上解析了室内场景中的主要平面和物体，还利用得到的平面信息对室内场景中物体的支撑关系进行了推断。但是它在NYU RGBD数据集中仅能获得56.6％的准确性，下一步研究方向是提高语义分割的准确性。

深度图像分割方法有近百种之多，主要可以归结3大类：基于边缘的方法；基于区域的方法；边缘和区域相结合的方法。边缘法能够非常准确地定位区域边界，这种方法计算速度快但是在实际应用中很容易受到噪声和遮挡等因素的影响，难以得到连续的区域边界。区域分割的实质是将近邻的有相似特征的像素点归为一个区域，逐像素点归类后整个数据集被划分为很多个小区域，然后再根据一定的判定条件对得到的小区域进行合并，最后得到一个具有一致性的区域的集合。边缘法和区域法的结合先进行边缘提取，用其结果确定区域的位置和数量，这种方法兼顺了速度和分割的准确性。

发明内容

本发明所要解决的技术问题是提供一种基于RGBD描述符的室内场景语义分割方法，所述方法能够对室内物体进行有效的语义标注。

为解决上述技术问题，本发明所采取的技术方案是：一种基于RGBD描述符的室内场景语义分割方法，其特征在于包括如下步骤：

利用Kinect获得具有深度信息的室内场景图；

利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓图，在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d；

将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；

利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位姿特征；

提取RGBD描述符；

用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将它们与位姿特征串联得到特征集；

采用SVM分类器进行分类得到语义分割结果。

采用上述技术方案所产生的有益效果在于：本发明利用RGBD图像的深度信息，通过重力方向的确定和描述符的提取获得大量有效的图像特征，描述符在捕获表观和形状相似性方面非常有效，得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室内监控等方面提供一种有效的方法。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为基于RGB-D描述符的室内场景语义分割方法的基本流程图；

图2为本发明中边界全局分割方法bgs的流程图；

图3为本发明中获取与重力方向有关的方向特征的示意图；

图4为本发明中获取与重力方向有关的面积特征的示意图；

图5为本发明中局部二值模式描述符中局部二值列向量的确定方法示例图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。