[发明专利]基于超像素CRF模型的上下文优化室内场景语义标注方法

权利要求书

1.基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：该方法包括以下步骤：

(1)输入待标注的彩色图像RGB和深度图像D；

(2)对图像进行超像素分割；

(3)对图像进行超像素特征提取；

(4)使用超像素特征进行分类得到基于超像素特征的语义标注结果；

(5)根据语义标注结果和多层次超像素分割得到的超像素空间上下文关系构建超像素CRF模型；

(6)得到优化的语义标注结果。

2.根据权利要求1所述的基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：所述步骤(2)使用gPb-OWT-UCM算法，通过图像局部特征和全局特征计算图像中每个像素属于边界的概率值将gPb-OWT-UCM算法分别应用于彩色图像和深度图像，按照公式(1)计算

其中,是基于彩色图像计算得到的每个像素属于边界的概率值,是基于深度图像计算得到的每个像素属于边界的概率值；在计算得到像素属于边界概率值的基础上，设定不同的概率阈值tr得到多层次超像素分割结果；根据设定的概率阈值tr，按照八连通的原则将概率值小于设定阈值的像素连成一个区域，每个连通的区域为一个超像素。

3.根据权利要求2所述的基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：所述步骤(3)中，超像素特征使用核描述子方法计算：使用核描述子方法计算超像素Seg的深度梯度特征、彩色梯度特征、彩色特征以及纹理特征，然后针对超像素的几何性质计算超像素周长、面积、面积周长比，最终将上述特征组合起来作为超像素的特征表示Fea_Seg。

4.根据权利要求3所述的基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：所述步骤(4)中，使用所述超像素特征利用梯度提升决策树对超像素进行语义分类，得到超像素Seg预测为lab类语义标签的概率值prob_lab(Fea_Seg)，层次分割树中，两个相邻层次中较高层次和较低层次的超像素集合分别标记为和如果存在两个超像素和且是的父节点，则称是的空间上下文，记为

5.根据权利要求4所述的基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：所述步骤(5)中超像素CRF模型为公式(2)

其中，φ_o(lab_a)是一元能量项，描述层次分割树中单个节点的语义标注情况，代表对超像素赋予语义标签lab_a的损失；是二元能量项，度量层次分割树中任一节点与同层剩余其他节点的语义标注差异，代表超像素与的差异；θ_h(lab₁,...,lab_c)表示高阶能量项，度量层次分割树中有相同父节点的子节点集合的语义标注差异，用来度量具有相同空间上下文的一组超像素间的语义差异。

6.根据权利要求5所述的基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：所述步骤(5)中一元能量项通过预训练好的分类器对超像素进行语义分类，得到超像素属于语义类别lab_a的概率值代入式(4)计算得到被赋予语义标签lab_a的损失：

7.根据权利要求6所述的基于超像素CRF模型的上下文优化室内场景语义标注方法，其特征在于：所述步骤(5)中二元能量项的计算方法为公式(5),定义超像素和的二元能量

其中，μ(lab_a,lab_b)为标签相容性函数，K_ab为超像素相容性函数，w^(m)是第m个高斯核函数的权重值，表示第m个高斯核函数；高斯核函数形式为公式(6)：

其中，和分别表示超像素和的特征向量；为高斯核的带宽。