[发明专利]基于超像素CRF模型的上下文优化室内场景语义标注方法

说明书

公开一种基于超像素CRF模型的上下文优化室内场景语义标注方法，其可有效提高语义标注正确率，可以进一步改善标注的情况。该方法包括以下步骤：(1)输入待标注的彩色图像RGB和深度图像D；(2)对图像进行超像素分割；(3)对图像进行超像素特征提取；(4)使用超像素特征进行分类得到基于超像素特征的语义标注结果；(5)根据语义标注结果和多层次超像素分割得到的超像素空间上下文关系构建超像素CRF模型；(6)得到优化的语义标注结果。

技术领域

本发明涉及计算机视觉及模式识别的技术领域，尤其涉及一种基于上下文优化的室内场景语义标注方法。

背景技术

目前的室内场景图像语义标注的方法可以分为两类，一类为上下文无关的室内场景语义标注；另一类为基于上下文优化的室内场景标注。

上下文无关的室内场景语义标注

早期上下文无无关的室内场景语义标注方法，通常对像素或超像素定义特征，然后使用分类器对每个像素或超像素进行分类，从而达到对图像中每个像素点赋予一个预定义的语义标签的目的。

2007年，Shotton等提出使用TextonBoost特征的语义标注方法，文中提出一种新的纹理-布局(Texture-Layout)特征，并对每一个像素计算该特征，将每个像素点的Texture-Layout特征用Boosting分类器进行分类，给予每个像素属于不同类别语义标签，以此完成图像的语义标注。

Ren等提出了一种基于RGB-D数据的室内场景语义标注方法。在其方法中利用gPb-OWT-UCM算法对图像进行超像素分割。对超像素提取了多种类型像素级别的特征描述子，并采用一种核描述子方法将多种类型的像素级别的特征描述子整合到统一的框架，将上述的特征核描述子训练一对多的线性支持向量机(Support Vector Machine，SVM)分类器，使用已训练好的SVM分类器，为输入图像中的每个超像素赋予一个语义类别标签。

近年来，随着DCNNs(深度卷积网络)在图像分类任务中取得了巨大的成功，研究人员将DCNNs应用于图像语义标注中。基于DCNNs的语义标注方法，通常是应用深度网络对图像提取特征，再对每个像素点进行语义分类，最终得到整张图像的语义标注结果。

Long等提出了FCN(全卷积网络)，这是首次将深度学习方法引入语义标注。该网络可对任意大小的输入图像实现逐像素分类，奠定了使用深度网络解决图像语义标注问题的基础框架。为了克服卷积网络最后输出层缺少空间位置信息这一不足，Long等人通过双线性插值上采样和组合中间层输出的特征图，将粗糙分割结果转换为密集分割结果。

上下文优化的室内场景标注方法

在基于上下文优化的室内场景语义标注方法中，一种策略是在特征空间进行上下文优化，另一种策略是在标签空间进行上下文优化。

在特征空间进行上下文的优化中，基于定义特征的语义标注方法，通常是将上下文特征组合，再用于语义标注。如Hickson等提出的方法中，通过利用彩色图像和深度图像生成三维点云，对点云进行过分割从而得到多层次超像素分割结果，再提取超像素的颜色直方图特征、3维尺寸特征、形状特征和法向特征，并通过超像素层次分割组合多层次超像素特征，最后使用组合后的特征训练随机森林来对室内场景进行语义标注的方法。

对基于学习特征的语义标注方法中，Hariharan等人借用图像金字塔的思想，通过串接CNN(卷积网络)的多层特征图中与源图像像素同位置的特征值组合成Hypercolumn向量描述像素的统计结构特征，提升了图像分割的精细度。