[发明专利]一种深度图像场景的室内对象立方体检测方法

摘要

本发明涉及一种深度图像场景的室内对象立方体检测方法，首先通过求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果集合，并分别拟合立方体；其次，针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物理特征的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；最后，构建立方体的图结构，将场景的几何解析问题转化为最大权重子团求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果，采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性。本发明可广泛应用于机器人、监控等计算机视觉系统的室内场景对象解析、场景理解和三维重建。

主权项

一种深度图像场景的室内对象立方体检测方法，其特征在于该方法包括以下步骤：步骤(1)针对输入场景的彩色图像和深度图像，通过设置不同的种子区域和不同的数据项、偏置项权值，求解一系列参数约束最小割问题，得到输入场景中对象的候选分割结果集合；步骤(2)根据输入的场景深度图像，将输入场景投影至三维空间，为对象的候选分割结果拟合立方体，即对应对象的三维包围盒，得到候选立方体集合；步骤(3)针对每一个对象分割结果及对应的立方体，使用描述对象统计特性与物理特性的二维图像特征以及三维几何特征衡量其与输入场景的拟合程度；步骤(4)构建立方体的图结构，将场景内容的几何解析问题转化为最大权重子团求解问题，使用极大子团近似求解，得到一系列经过排序的场景内容几何解析结果；步骤(5)采用最大边缘相关度对解析结果重排序，提高相邻解析结果的多样性；其中，步骤(1)的基于参数约束最小割候选分割结果计算方法，引入了像素点的深度信息，具体而言，在计算相邻像素点的相似性时，采用下述计算方法：Vuv(xu,xv)=0,ifxu=xvg(u,v),ifxu≠xv]]>其中，u,v为相邻像素点，xu,xv表示像素点属于前景或背景，当相邻像素点前背景标签不一致时，其相似度惩罚按照下述公式计算：g(u,v)=exp(-α||BI(u)-BI(v)||+(1-α)||BD(u)-BD(v)||σ2),]]>其中，σ用来控制兼容项的平滑性，BI(u)是采用轮廓线检测器在彩色图像上像素点u处得到的响应值，BD(u)是采用轮廓线检测器在深度图像上像素点u处的响应值，使用这两种响应值的线性加权定义相似性惩罚；BI(v)是采用轮廓线检测器在彩色图像上像素点u处得到的响应值，BD(v)是采用轮廓线检测器在深度图像上像素点u处的响应值；α为权重系数；在步骤(2)中，将分割结果对应的像素点根据深度信息投影到三维空间，在拟合立方体x，z方向上下界时只包含95％的点，即允许一定比率的杂点，以提高拟合的鲁棒性；在拟合立方体y方向上下界时统计2％和98％的点的平均高度，作为立方体y方向高度的下界和上界，以增强立方体与地面平行这一约束；在xz平面允许拟合的立方体与坐标轴间有一定的夹角，在旋转后的两个正交方向上，允许有5％的杂点；在步骤(3)中，在衡量立方体与输入场景的拟合程度时综合考虑对象分割结果与输入图像的外观特征拟合程度，拟合立方体与三维点云的几何特征拟合程度；描述这些拟合程度的特征分为二维图像特征和三维几何特征；二维图像特征包括对象分割结果的对象性、紧实性、覆盖面积、边缘距离；其中紧实性用以衡量对象分割结果与立方体投影结果的相似性，针对基于参数约束最小割算法得到的对象分割结果si，为其拟合一个立方体ci，将该立方体投影到二维平面可得到该立方体对应的覆盖区域pi；由于拟合立方体的时候允许有5％的点在拟合立方体的外部，si和pi存在一定的差异；对于一个好的对象分割结果，其对应的点有规律的分布在三维空间的一个长方体区域内，si和pi的覆盖率应该尽可能的高，即具有较高的紧实性；采用Area(si∩pi)/Area(si∪pi)表示对象分割结果的紧实性，其中Area(·)提取对应结果的面积；三维几何特征包括立方体法向量可信度、最小平面距离、朝向与位置、体积；其中，法向量可信度采用如下方式给定：输入场景彩色图像，根据深度信息将输入场景投影到三维空间；针对每个像素点，在其周围局部窗口内采样深度差小于阀值的像素点，使用最小二乘法拟合出一个平面，求得该像素点对应的法向量，表示为(Nx,Ny,Nz)；根据拟合的立方体在三维空间中的位置，得到立方体表面的法向量，进而得到立方体投影到二维平面区域对应像素点的法向量，表示为(N′x,N′y,N′z)；则定义像素点的法向量可信度为(Nx·N′x,Ny·N′y,Nz·N′z)；基于上述像素点的法向量可信度定义，定义立方体ci对应的法向量可信度为：credci=1|si∩pi|Σi∈si∩pi(Nix·Nix′+Niy·Niy′+Niz·Niz′),]]>其中，si∩pi表示基于参数约束最小割算法得到的对象结果si与将立方体投影到平面得到的区域pi的交集，|si∩pi|表示si∩pi内像素点的个数；最小平面距离：对于基于参数约束最小割算法得到的对象结果，计算每个像素点到拟合立方体六个表面的最短距离，选取最小的距离作为该像素点到立方体的距离，并将所有像素点到立方体的距离累加后除以像素总数，用以表示该拟合立方体的最小平面距离；朝向与位置：在室内场景解析方法的一个重要先验是曼哈顿假设，即场景中出现的对象应平行于检测到的墙面,该特征计算所拟合立方体与墙面的夹角与重叠区域，以表示立方体的朝向和位置属性；计算方法为：通过霍夫变化，得到室内房间中的墙面的位置；计算立方体与墙面夹角，若超过某个阈值，认为是错误的立方体并移除；否则，计算立方体位置耗费为表示第i个立方体与检测得到的墙面间较小的夹角；将输入场景图像的所有像素点投影到三维空间后，得到三维点云在x,y,z三个方向的上界和下界；由于得到对象分割结果时，分割模型可能产生错误的结果，拟合的立方体为了保持长方体的形态，可能超出整个场景在x,y,z方向的界限；针对这种情况，引入约束，设置其对应的立方体位置耗费为表示第i个立方体超出上述界限的面积；使用相交体积比、遮挡面积比、支撑距离来衡量选取的立方体两两之间的相互关系；其中支撑距离用来衡量对应立方体集合在空间的物理稳定性；如果立方体ci在y方向位于立方体cj的上方，且ci的质心投影至xz平面的点位于cj在xz平面的投影区域内，定义ci可被cj支撑，并定义ci的下表面与cj的上表面在y方向的距离为二者的支撑距离；定义立方体ci与地面的支撑距离为其下表面与地面间的距离，定义立方体ci与墙面的支撑距离为其六个表面与墙面间的最小距离；一个立方体能被墙面、地面或者其他可支撑立方体支撑；定义立方体ci的最小支撑距离为该立方体与检测到的墙面支撑距离、地面支撑距离或可支撑立方体支撑距离的最小值；给定一种场景几何解析结果，计算立方体在y方向的上表面高度对应的最小支撑距离，选取其中的最大值作为该种几何解析结果的支撑距离；在步骤(4)中，将场景内容的几何解析问题转化为一个在立方体的图结构中寻找最大权重子团的问题，其中构建的立方体图结构中每个顶点和边都有权重；为求解最大权重子团，使用如下求解算法：(1)从图中的一个节点出发，逐步选取与其相交、遮挡小于一定阀值的立方体，扩充得到对应的极大子团；(2)针对步骤(1)得到的极大子团根据目标能量方程进行局部优化，针对立方体集合中不在当前子团中的每个立方体，若其与初始立方体相交、遮挡小于一定阀值，则移除当前子团中与该立方体相交、遮挡大于一定阀值的立方体，同时向当前子团添加该立方体，将其扩充为极大子团，若当前子团的能量大于初始子团，则更新子团；该过程迭代直至收敛；得到K个子团，重复的子团会被移除，按照当前子团能量降序排列；由于采用极大子团近似求解最大权重子团，得到针对输入场景不同几何解析结果；K为子团个数；在步骤(5)中，为提高相邻几何解析结果的多样性，采用最大边缘相关度(Maximal Margin Relevance)对步骤(4)得到的场景几何解析结果重新排序，保证结果的多样性；从初始得分最高的几何解析结果出发，逐步选取边缘相关度最高的解析结果，迭代直至所有解析结果都被选取；在计算几何解析结果ti与tj相似度的时候，综合考虑ti对应二维分割结果与tj对应二维分割结果的覆盖率和ti选取的立方体集合与tj选取的立方体集合的覆盖率；具体如下：sim(ti,tj)=Area(sti∩stj)Area(sti∪stj)+||cti·ctj||0||cti+ctj||0,]]>其中，表示ti对应的二维图像分割结果，表示tj对应的二维图像分割结果；表示ti选取的立方体集合，Area(·)为区域面积，||·||0为0‑范数；使用T表示全部几何解析结果集合，表示已选取的几何解析结果集合，s(ti)表示ti对应的能量值，sim(ti,tj)表示ti与tj间的相似度，则每一步选取具有最大边缘相关度的解析结果的方法为：argmaxTi⋐T/Tp[θ·s(Ti)-(1-θ)·maxtj∈Tpsim(ti,tj)]]]>其中，θ为控制结果多样性的参数，设为0.75。