[发明专利]一种基于纹理与几何属性联合模型的室内对象解析方法

说明书

技术领域

本发明涉及计算机视觉和图像场景理解领域，具体地说是基于纹理与几何属性联合模型的室内对象解析方法。 

背景技术

场景理解包含场景语义分割和几何属性估计，该问题是计算机视觉领域中一个基本且重要的研究问题。过去的科研成果多关注与室外场景的处理，而室内场景由于其多变性、对象的杂乱性及对象间缺少能够互相区分的特征等原因，使得室内场景理解得到较少的关注。目前对于室内场景理解主要借助于Kinect捕获二维图像和场景深度图像。通过深度信息使得问题变得更容易解决。此外，还有利用模型或者数据驱动的方法对室内场景进行场景语义分割和对象识别，其中先验知识对结果求解起到了很重要的作用。 

目前，有一些学者提出了利用语法解析和图形解析的方法进行图像场景理解，他们提出一些具有代表性的单元辅助研究，如利用几何块、平面或者线分割来推断形状和几何属性。2010年，Gupta等人将场景解析为由语义分割、深度顺序、几何估计和支撑关系组成三维图结构。但是该方法仍然关注室外场景而不是室内场景。2010年Hedau等人提出一种用三维的立方体表示室内场景中对象的方法。他们假设包含对象的立方体应有一个方向的面是平行于墙面的，基于这种假设他们估计整个房间场景的朝向。2010年Lee等人利用具有体积的正方体生成整张图像的场景和对象的几何假设。他们不识别对象的语义但是估计出对象的空间布局并用正方体堆出大约的三维立方体。2012年，Hedau等人对沙发、椅子等对象的三维立方体结构扩展靠背这一几何面，因此能够检测特定的对象，并使用向量机分类器思想从多个对象假设中提取正确结果。 

以上这些研究现状表明，尽管该领域的学者关注室内场景的理解，但只关注于场景中几何属性的推导，不能识别出对象的语义分割，且仅能用几种普遍的单元表示对象，限制了方法在单元变化较大时的场景理解能力。从以上研究发展趋势可以看出，利用场景中的线分割信息能够有效的指导场景中对象的面估计，且室内对象大都能转化为由面组成的结构体。因此，本发明的工作是构造纹理和几何属性联合的联合模型，再利用联合模型解析室内场景对象的语义分割和有向包围面估计。 

发明内容

根据上述需求，为了克服现有技术的不足，本发明的目的在于：提供基于纹理与几何属性联合模型的室内对象解析方法，该方法能够得到室内图像场景中对象的语义分割结果和有向包围面估计。为完成发明目的，本发明采用的技术方案是：基于纹理与几何属性联合模型的室内对象解析方法，该方法包含以下步骤： 

步骤（1）构造联合模型，所述联合模型由多个包含纹理和几何属性的模板组成； 

步骤（2）对图像进行预处理，得到图像的过分割结果、图像的纹理地图、场景空间布局和场景中的线分割； 

步骤（3）利用滑动窗口，求解图像中对象的概率图，概率图中每个像素点的值表示该像素点属于对象的概率； 

步骤（4）针对当前的联合模型，选出图像中对象属于联合模型中哪一种模板中的对象，结合图像预处理得到的过分割结果，从概率图得到对象在图像中的语义分割结果，语义分割结果为一张二值图像，像素点为1表示该点是对象，否则为0表示背景区域； 

步骤（5）图像中，相邻接且具有相同斜率、两侧纹理相似的两条线段首尾相连构成长线段，而同斜率且端点位置相近的两条线段能合并为一条线段，根据以上规则，定义一种线段合并算法，处理图像预处理得到的线分割，并根据语义分割结果选出有效线分割集； 

步骤（6）对象的几何属性由有向包围面的顶点表示，因此每个有向包围面的属性可以由构成该面的顶点坐标计算，构成每个面的四条边的属性可以由该边的两个顶点表示；这样，方法能够利用对象有向包围面的顶点坐标公式化对象的各种几何属性； 

步骤（7）由于对象的几何属性都是由有向包围面的顶点表示，因而，能量最小化公式中的变量都由这些顶点坐标表示，则能量最小化公式中的未知量仅为对象有向包围面的顶点坐标，这样，当得到解时，解就是有向包围面顶点的坐标解，即得到图像有向包围面估计。