[发明专利]一种基于纹理与几何属性联合模型的室内对象解析方法

权利要求书

1.一种基于纹理与几何属性联合模型的室内对象解析方法，其特征在于该方法包括以下步骤：

步骤（1）构造联合模型，所述联合模型由多个包含纹理和几何属性的模板组成；

步骤（2）对图像进行预处理，得到图像的过分割结果、图像的纹理地图、场景空间布局和场景中的线分割；

步骤（3）利用滑动窗口，求解图像中对象的概率图，概率图中每个像素点的值表示该像素点属于对象的概率；

步骤（4）针对当前的联合模型，选出图像中对象属于联合模型中哪一种模板中的对象，结合图像预处理得到的过分割结果，从概率图得到对象在图像中的语义分割结果，语义分割结果为一张二值图像，像素点为1表示该点是对象，否则为0表示背景区域；

步骤（5）图像中，相邻接且具有相同斜率、两侧纹理相似的两条线段首尾相连构成长线段，而同斜率且端点位置相近的两条线段能合并为一条线段，根据以上规则，定义一种线段合并算法，处理图像预处理得到的线分割，并根据语义分割结果选出有效线分割集；

步骤（6）对象的几何属性由有向包围面的顶点表示，因此每个有向包围面的属性可以由构成该面的顶点坐标计算，构成每个面的四条边的属性可以由该边的两个顶点表示；这样，方法能够利用对象有向包围面的顶点坐标公式化对象的各种几何属性；

步骤（7）由于对象的几何属性都是由有向包围面的顶点表示，因而，能量最小化公式中的变量都由这些顶点坐标表示，则能量最小化公式中的未知量仅为对象有向包围面的顶点坐标，这样，当得到解时，解就是有向包围面顶点的坐标解，即得到图像有向包围面估计。

2.根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（1）中所述的联合模型是由多个该对象的模板组成的整体模型，每个模板分为纹理和几何属性两部分；对于一个对象，首先将对象按照几何形态分类，即分为多种模板；每个模板又是由多张图像的纹理和几何属性构建而成，纹理属性通过对图像边界地图进行滤波器处理得到，几何属性由对象的有向包围面表示。

3.根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（2）中的对图像进行过分割得到图像的超像素集，每个超像素里所包含的像素认为属于同一个语义；纹理地图的得到要首先提取图像中的边界，再用一定尺度的方格划分边界图，最后对边界图中每个方格进行滤波处理得到图像的纹理地图；场景空间布局即定义地面、墙、天花板、对象几种空间类型，利用分类器求解出图像每个像素属于那种空间类型；线分割即对图像求出存在的所有线段，存储方式为线段的两个端点和线段所在的直线方程。

4.根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（3）中如果滑动窗口区域的纹理属性与模板纹理属性相似则认为该窗口包含对象的可能性就较大，即概率值就较大，将整个窗口比较得到的概率值叠加到窗口包含的所有像素上，当滑动窗口扫过整张图像后，就得到在该模板下，每个像素是该模板中的对象的概率值。

5.根据权利要求3所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（4）中首先利用一种投票策略选出图像中的对象最接近哪个模板中的对象；由于认为每个超像素集包含的像素点应该属于同种语义，即要么整个超像素为对象，要么为背景，针对选出的模板下得到的概率图，取平均概率大的超像素块为对象其余为背景就得到整张图像的对象语义分割结果。

6.根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（5）中定义一种线段合并算法，一方面，针对首尾相连且具有相同斜率、两侧图像纹理相似的两条线段，算法分别取两条线段距另一条线段最远的端点，连接这两个端点即合并两条线段为一条更长的线段；另一方面，对于两条不属于上一种情况，但具有同斜率且存在至少一个对端点位置相近时，认为两条线段中较长的线段可以包含较短线段在图像中所要表达的属性，即较短的线段为无效线段，因此去掉较短的线段；这样就完成了图像中线段的合并，再选出语义分割区域中出现的线段，这些线段是能够指导对象有向包围面估计的有效线段集。