[发明专利]一种深度图像场景的室内对象立方体检测方法

说明书

技术领域

本发明涉及计算机视觉和图像场景理解领域，具体地说是一种深度图像场景的室内对象立方体检测方法。

背景技术

室内图像场景内容解析是计算机视觉领域的基本研究问题，其中几何属性解析是该领域研究热点。近期室内图像场景内容几何解析的研究工作从单张图像中恢复对象的立方体，该问题受到室内图像所具有的对象纹理多样性、对象外形多样性、场景光照多样性、室内场景对象多样性、摄像机视角多样性等多个因素的制约。为了解决上述问题，研究人员引入深度信息辅助解析单张室内图像场景中对象几何结构。

2013年，波士顿学院的Jiang等人提出一种基于混合整数线性规划的室内RGB-D图像场景中对象立方体检测方法。该方法首先结合场景彩色信息和深度信息将图像过分割成超像素，使用相邻的超像素对构建候选立方体集合；使用分支定界法高效的求解最优的立方体集合，使之具有较低的局部匹配耗费，较少的对象之间相交、遮挡区域，较大的图像覆盖面积，较少的立方体个数。该方法首次提出了在RGB-D图像中同时匹配多个对象立方体的方法。2013年丰田工业大学芝加哥分校的Lin等人提出一种基于条件随机场模型的室内RGB-D图像场景解析方法。该方法首先将参数约束最小割算法扩展至三维空间，产生场景中的对象分割结果集合，并为每一个对象分割结果拟合一个立方体。为了选取合适的立方体集合并为每个立方体赋予语义标签，该方法构建了一个全局条件随机场模型，综合考虑二维分割信息、三维几何信息、场景与对象之间的语义关系、对象与对象之间的语义关系及位置关系等信息。

一般来说，一个好的室内场景对象立方体检测器应当具备以下特性：(1)对象性，即检测到的立方体应捕获场景中的对象，而不是墙、地面等；(2)普遍适用性，即检测器可适用于室内场景中出现的所有语义类别对象，而不是某几种预定义语义类别对象。尽管目前的研究工作在解决上述某一个问题上取得了不错的结果，但是均无法解决另外一个问题。同时，该类方法只能生成一种场景几何解析结果，在一些情况下可能不是最优结果，不能完整的捕获场景中的所有对象。

发明内容

根据上述需求，为了克服现有技术的不足，本发明给出一种深度图像场景的室内对象立方体检测方法,目的在于：综合解决上述两个问题，具体而言，如何产生高对象性的立方体，如何设计对所有类别对象均具有普遍适用性的特征，如何高效的求解最优解并产生多种解析结果。为完成发明目的，本发明采用的技术方案是：一种深度图像场景的室内对象立方体检测方法，该方法包括以下步骤：

步骤(1)针对输入场景的彩色图像和深度图像，通过设置不同的种子区域和不同的数据项、偏置项权值，求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果集合；

步骤(2)根据输入的场景深度图像，将输入场景投影至三维空间，为对象的候选分割结果拟合立方体，即对应对象的三维包围盒，得到候选立方体集合；

步骤(3)针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物理特性的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；

步骤(4)构建立方体的图结构，将场景内容的几何解析问题转化为最大权重子团求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果；

步骤(5)采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。

本发明结合深度信息，计算未知像素点的数据项权重、偏置项权重，具体而言，本发明结合深度信息，计算未知像素点属于前景、背景的概率，以此计算未知像素点的数据项权重；本发明结合深度信息，计算空间位置相邻像素点间的相似性，以此计算未知像素点的偏置项权重。本发明采用不同类别的策略，设置种子区域。针对一组前景种子区域、背景种子区域及一组特定的数据项权重及偏置项权重，应用参数约束最小割算法可得到一种对应的分割结果。本发明采用了不同组合的前景种子区域、背景种子区域及不同的数据项权重、偏置项权重等，故可得到大量的输入场景对象分割结果，本发明保留前100个做后续处理。