[发明专利]基于RGBD描述符的室内场景语义分割方法

摘要

本发明公开了一种基于RGB‑D描述符的室内场景语义分割方法。涉及图像处理方法技术领域。该方法包括利用Kinect获取具有深度信息的室内图像；利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割图和RGBD图确定房间的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；将得到的位姿特征与RGBD描述符串联得到特征集；选用线性支撑矢量机SVM作为分类器作用于特征集产生语义分割结果。通过所述方法得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室内监控等方面提供一种有效的方法。

主权项

一种基于RGBD描述符的室内场景语义分割方法，其特征在于包括如下步骤：利用Kinect获得具有深度信息的室内场景图；利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱聚类形成带有全局信息的边界检测算子，利用带有全局信息的边界检测算子对图像处理得到轮廓图，在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将它们与位姿特征串联得到特征集；采用SVM分类器进行分类得到语义分割结果；其中，所述的边界全局分割算法bgs具体如下：首先利用室内场景图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x,y)，预测在像素(x,y)处带有方向θ的边界后验概率；对于图像中的像素(x,y)，以该位置为圆心画一半径为r的圆，并将它在θ方向沿直径方向分为两半，对于每个半圆盘，计算像素灰度值的直方图，将半圆盘之间的χ2距离作为梯度幅值输出，用g和h表示两个半圆盘：Lb检测算子是4个独立特征通道的梯度信息的结合，前3个特征通道对应于CIELab颜色空间，即亮度，颜色a，颜色b通道，对于灰度图只有亮度通道，第4个特征通道是纹理通道；在Lb算子的基础上对结合多尺度信息形成mLb算子，对每个通道考虑3个尺寸ζ是圆盘半径，单位是像素个数，对于亮度通道，使用ζ＝5，对于颜色通道与纹理通道使用ζ＝10，线性结合这些局部信息作为一个多尺度方向信号：其中s表示尺寸，i表示特征，Gi,ζ(i,s)(x,y,θ)衡量了位于圆心(x,y)处，半径为ζ(i,s)的被θ方向的直径分开的两个半圆盘的直方图差异；参数αi,s权衡每个方向信号的相对分布，由的梯度方向确定；对每个像素取不同方向间的最大响应作为边界强度值：将mLb算子进行谱聚类能得到带有全局信息的边界检测算子，关键在于谱聚类，构造一个稀疏对称矩阵w：其中是连接i与j的直线段，ρ是一个常数，设置ρ＝0.1，连接所有在一个固定半径大小r圆内的像素；为了引入全局信息，定义Dii＝∑jWij并求解方程(D‑w)v＝λDv的n+1个最小特征值0＝λ0≤λ1≤…≤λn对应的特征向量{v0，v1，…，vn}，每个特征向量本身就带有轮廓信息，将每个特征向量vk当作一幅图，与多个方向的高斯导数滤波器做卷积得到方向信号将不同特征向量得到的信息结合在一起形成sLb算子：mLb算子和sLb算子代表了不同的信息，前者针对的是所有的边界，而后者只提取图像中最凸出的曲线，将两者结合起来得到最后的bgs算子：其中βi,s和γ是F‑measure的梯度下降方向得到的权重，在得到的轮廓图的基础上利用带方向的分水岭分割方法产生一组初始化区域，然后从这些初始化区域的边界构建一个超度量图UCM，最后得到一个分层分割图；所述的提取RGBD描述符的方法如下：使用5个RGBD描述符：深度梯度GD，颜色C，局部二值模式L，梯度G，核主成分分析KPCA；对于描述符的提取均在常规的网格中完成，以两个像素为步幅，其中深度梯度GD，颜色C，局部二值模式L以及梯度G描述符使用大小为16×16的块采样，对于核主成分分析描述符使用大小为40×40的块采样；以深度梯度GD描述符为例，首先将深度图视为灰度图并在每个像素点处计算梯度，深度梯度描述符GDgrad由像素梯度相似性函数ko构建得到其中P和Q是图片中的两个不同的块，p∈P是一个位于块P内的像素，θp和mp是像素p在深度图中的方向和幅值；和是像素z处的深度梯度归一化的幅度和方向；其中εg是一个小的正数，保证分母部分大于0，，方向因子计算方向梯度的相似性，位置因子ds(p,q)＝exp(‑γs||p‑q||2)用来衡量两个像素空间位置的接近度；分析梯度描述符可知它由三部分组成：归一化线性核，使用每个像素的梯度幅值衡量像素的属性；方向因子do计算梯度方向间的相似度；位置高斯因子ds权衡像素的空间分布，GDgrad将输入的像素属性转化为块水平特征；采用与梯度描述符相似的方式构建颜色描述符：其中c(p)是像素p的颜色值，对于灰度图是亮度值对于彩色图是RGB值；dc(c(p),c(q))＝exp(‑γo||c(p)‑c(q)||2)衡量两个像素颜色上的相似度，ds(p,q)的含义与梯度描述符表达式中的含义一致用以描述像素空间位置的接近程度，梯度描述符可以捕捉到图像变化，颜色因子能够描述图像表观，而局部二值模式能有效地表示局部形状：其中sp是像素p的3×3邻域内值的标准方差，εlbp是一个小的正数保证分母部分的取值大于0，归一化线性核对每个局部二值模式进行了加权；bp是一个二值列向量，它二值化像素p周围的局部窗口的像素值差异；db(bp,bq)＝exp(‑γb||bp‑bq||2)是一个高斯核用以衡量局部二值模式之间的相似性；位置因子ds(p,q)＝exp(‑γs||p‑q||2)用来衡量两个像素空间位置的接近度；梯度描述符的表达式：可以看出梯度描述符和深度梯度描述符在本质上是一致的，不过处理的对象不同，深度梯度处理的是深度图，而梯度图处理的是RGB灰度化后的图；核主成分分析是在主成分分析方法的基础上完成核的构建，首先得到3D点云P并得到协方差矩阵DP，计算协方差矩阵的特征值，然后由大到小排列取前L个特征值，通过式子得到核主成分特征其中vl是特征向量，L是KPCA的维数，DP[s，t]＝exp(‑γk||s‑t||2)，P是3D点云，γk＞0并且s，t∈P；关于RGBD描述符，其中深度梯度，颜色，局部二值模式以及梯度描述符使用大小为16×16的块采样，对于核主成分分析描述符使用大小为40×40的块采样，然后在每个超像素块上进行平均，即最后这5个特征都是作为超像素的属性；所述的用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达如下：假定一幅图片有一组局部特征X＝{x1，…，xp}，有字典V＝{v1，…，vM}，在BOW中每个局部特征都可被量化为一个M维的二值向量μ(x)＝[μ1(x)，…，μM(x)]T，其中|·|表示集合的数量；其中当使用一个线性分类器时得到的函数表达式为：其中δ(x,y)用于描述特征x与y之间的相似性，如果它们在同一个区域则为1，否则为0，用一个连续函数d(x,y)替代离散函数δ(x,y)得到新的表达式：将此处的d(x,y)称为局部因子，d(x，y)可表示为由上式可知，如果特征映射关系是有限维的，那么得到的d(x,y)局部因子也是有限维的，Ds(X,Y)的表达式可进一步表示为：其中是在一组向量上的特征映射，Ds(X,Y)即为有效匹配因子，通过上面的分析可知有效匹配的关键在于局部因子d(x，y)即的表示形式的确定，下面给出一种的构建方式：假定一个已知的函数d(x,y)＝ψ(x)Tψ(y)，要将它投影到低维空间，并用一组基向量表示，那么问题转化为给出一组基向量要求用基向量表示特征向量ψ(x)：其中H＝[ψ(z1)，…，ψ(zM)]与都是投影得到的低维系数，上面的优化问题其实是一个凸二次规划问题：由下面的式子得到局部因子dl(x,y)：其中dz是一个M×1维向量，向量取值由式子{dz}i＝d(x，zi)确定，即将x与zi带入给定的函数d(x,y)＝ψ(x)Tψ(y)中计算得到dz；DZZ是一个M×M的矩阵，矩阵元素值由{DZZ}ij＝d(zi,zj)确定；使用来表示得到特征映射此时得到的类似于BOW中单词表的确定，有效匹配算法能够将每个局部特征表示成一个M维的向量，其中M是基向量的维数。