[发明专利]基于非局部回归和总差分的多视点RGB-D图像超分辨率方法

摘要

本发明提供一种基于非局部回归和总差分的多视点RGB‑D图像超分辨率方法，该方法包含以下步骤：1)对输入多视点RGB‑D图像估计其他视点下相对于参考视点图像的偏移量，对参考视点深度图放大，并利用放大的深度图构建多视点RGB图与超分辨率结果间的映射矩阵；2)将RGB图像的超分辨率问题构建为能量最优化问题，并利用归一化的总差分做为约束项，实现RGB图像的超分辨率；3)基于所重构的RGB超分辨率图像，将非局部约束项耦合到一个二次矩阵系统中实现深度图超分辨率。本发明所提出的RGB‑D图像超分辨率方法对充分利用了深度图和RGB图见的相关性，实现了彼此超分辨率效果的有效提高。

主权项

1.一种基于非局部回归和总差分的多视点RGB‑D图像超分辨率方法，其特征在于包括以下步骤：步骤(1)、基于深度图的图间映射矩阵构建：将参考视点的深度图利用Bicubic算法插值到目的超分辨率维数，并利用反向投影技术获得参考视点的点云重构，并使用MonoSLAM算法获取图像序列相对于参考图像的偏移量，利用重构的点云数据、深度信息、偏移量以及小孔成像原理，分别构建相同视点下超分辨率图像和低分辨率图像间的映射矩阵和不同视点下的低分辨率输入图像和超分辨率图像间的映射矩阵，实现了映射矩阵M的初始化；步骤(2)、基于归一化的双边总差分的RGB图像超分辨率：通过步骤(1)所获得的映射矩阵，并利用所提出的归一化的双边总差分先验知识，构建RGB图像重构能量函数，利用主对偶算法实现重构图像的快速求解；步骤(3)、基于非局部回归和RGB图像诱导的深度图超分辨率：通过步骤(2)中重构的超分辨率RGB图像，使用了基于方差的RGB图像通道选择方法获得结构特征最强的通道，利用深度图和所选择通道的RGB图像的双边核信息构建图像的重构系数，并使用非局部约束构建深度图的重构优化函数；具体步骤如下：步骤(1)、基于深度图的图间映射矩阵构建在构造图像间映射矩阵前，需要使用相机定位算法来估计相机参数，使用了基于特征信息的MonoSLAM算法来估计每个图像所对应相机的参数，进而构建相同视点和不同视点下的图间映射矩阵；对于相同视点，小孔成像原理使用相机的内参A、平移矩阵t和旋转矩阵R来描述成像过程，内参A包括焦点c和焦距f，对于参考视点0，相对应的高分辨率RGB‑D图像使用了相同的平移矩阵t0和旋转矩阵R0和不同的内参A0H来获得，放大倍数为β时，超分辨率相机的焦点c0H和焦距f0H与相同视点下低分辨率相机间的内参参数映射关系：c0H＝βc0，f0H＝βf0，因此相同视点下的低分辨率输入图像和所需重构的高分辨率图像间的映射矩阵由内参A0和A0H来决定，同时参考视点下的映射矩阵M0应满足关系M0I＝I0，因此，参考视点下的映射矩阵为下采样矩阵，像素间的对应关系为I0(i,j)＝I(βi,βj)；对于不同视点，由于相机内参、平移矩阵和旋转矩阵均不相同，因此映射矩阵Mi的构建相对复杂，对于参考视点0下的高分辨率像素位置I(x,y)＝[x,y,1]T和相关的深度值d(x,y)，利用反向投影原理可以获得其在3D空间内的对应位置pxy，其映射关系被定义如下：其中，R0为单位矩阵，t0为零向量，该高分辨率像素位置在视点i下的投影位置可以通过以下公式获得(Ai＝A0，Ri＝R0,ti)：其中，ω((u,v,w))＝(u/w,v/w)，因此给定高分辨率图像中的像素坐标(x,y)，其所对应的视点i下的低分辨率图像中的像素坐标(u,v)即可获得，因此不同视点下的映射矩阵Mi通过所获得的像素坐标(u,v)被构建，该映射矩阵利用3D空间的深度图构建；步骤(2)、基于归一化的双边总差分的RGB图像超分辨率方法形式化RGB图像超分辨率优化函数如下：其中，为图像保真项，B为模糊核的卷积矩阵表示形式，E_NB(I)为归一化的双边总差分约束项，λ₁为权重参数，约束项E_NB(I)被定义如下：为空间权重，Φ(I,m)为广义化的双边数字总差分，拥有更大的邻居定义范围，包含了四个通用的离散滤波器，定义如下：Φ(I,m)被定义为图像I与以上四个卷积核的卷积结果，空间权重Ψ(m)将弱化远距离像素位置的影响力，被视为空间结构核，函数Φ(I,m)对不一致像素增加了强的约束力，被视为范围核，||Ψ(m)Φ(I,m)||1被称为双边总差分，同时||Ψ(m)Φ(I,m)||2为L2范数，用于归一化的双边总差分项||Ψ(m)Φ(I,m)||1，因此约束项ENB(I)被命名为归一化的双边总差分，实验中参数m通常设置为2，表示了像素点的2环邻域；因此，RGB图像超分辨率重构的优化函数被定义如下：由于归一化的双边总差分项的存在，以上优化函数为非凸，当||Ψ(m)Φ(I,m)||₂固定时，以上的优化函数将简化为L2约束的凸优化问题，被定义如下：其中，权重参数λ＝λ1||Ψ(m)Φ(I,m)||2，以上优化函数将能够通过使用主对偶算法被快速求解；步骤(3)、基于非局部回归和RGB图像诱导的深度图超分辨率方法相似于RGB图像的超分辨率，深度图超分辨率优化函数被定义如下：其中，为图像保真项，E_NL(D)为非局部回归约束项，λ₂为权重参数，约束项E_NL(D)被定义如下：其中1为单位矩阵，W为非局部回归系数矩阵，定义为S_i为归一化参数，和分别为深度和RGB权重项，为使用Bicubic算法初始化的超分辨率深度图，RGB权重项被使用来防止深度彩色信息的不一致问题，深度权重项定义为深度图的高斯函数表示形式：σ₁为标准差，被用于控制深度相似性，同时，RGB权重项也被定义为高斯函数表示形式，采用了单像素来计算相似性，RGB权重项被定义如下：⊙表示为Hadamard逐元素乘，Vi表示了在所选择RGB通道提取的中心坐标为i的图像片，V为RGB三通道中图像片方差最大的一个通道，被用于能更好的获取RGB图像结构特征，Fi算子为以像素i为中心提取的图像块的双边滤波器核，使用该局部结构核来生成更多的候选图像点，从而保证所构建的优化函数具有较小的条件数，进而促使所构建的优化函数为恰定，算子Fi中权重值Fij被定义如下：其中，Fij为双边滤波核Fi内像素i和像素j间的权重值，其中像素j在图像块内；vi为通道v像素坐标i处的灰度值，σ3和σ4分别为双边滤波器的空间和范围参数标准差，参数σ3和σ4用于控制对边界的敏感性；对于像素坐标i搜索窗口范围内的任意像素j，首先计算权重wij，若权重wij满足wij≥0.98或者位于前15个，则该像素点被用于非局部回归重构，相应的回归系数矩阵被定义如下：基于所构建的非局部回归系数矩阵W，基于RGB图像的深度图超分辨率优化函数被定义如下：该优化函数为凸，其全局最优解可通过求解以下二次矩阵系统得到：该二次矩阵系统可通过预条件共轭梯度法快速求解。