[发明专利]基于双变换域的深度图超分辨率方法

摘要

本发明属于计算机视觉领域，为提供恢复高分辨率的深度图的方法，为此，本发明采用的技术方案是，基于双变换域的深度图超分辨率方法，步骤如下：建立优化模型：2)变换域正则项E_SCD(x,z)的设计3)空域正则项E_MTV(x,z)的设计4)采用交替方向法ALM求解优化模型，交替更新深度图和稀疏系数，更新深度图时利用迭代再加权最小二乘算法IRLS，更新系数时使用soft算子。本发明主要应用于计算机视觉图像处理场合。

主权项

1.一种基于双变换域的深度图超分辨率方法，其特征是，步骤如下：建立优化模型：其中，x∈Rⁿ，y∈R^m，z∈Rⁿ分别是向量化的恢复的深度图，向量化的低分辨率深度图和向量化的高分辨率彩色图，E_d(x,y)是数据项，E_SCD(x,z)是变换域正则项，E_MTV(x,z)是空域正则项，λ₁和λ₂是平衡各项的权重参数，min表示求最小值，表示使得后面的式子最小时的变量x的取值；数据项表示为：其中||·||2是l2范数，H是模糊和下采样操作的合成算子；2)变换域正则项ESCD(x,z)的设计21)把深度图里的深度块聚类为G类，每一类深度块在主成分变换PCA下能够得到相应的PCA字典；其中x_i是深度图x中中心位于i的图像块，R_i表示从图x中提取块x_i的线性算子，表示块x_i所在的那一类块对应的字典，α_i表示块x_i在字典下的系数，α表示所有α_i的串接，Φ是字典的串接，M表示深度图中提取的块的个数，∑表示求和算子，R_i^T是R_i的转置，(·)^‑1是求逆运算；22)每一个深度块xi在深度图x中都可以找到多个相似的深度图块，采用以下的准则D(i,j)选取深度块xi的相似块：其中，x_j是深度图x中中心位于j的图像块，z_i是彩色图z中中心位于i的图像块，z_j是彩色图z中中心位于j的图像块；D(i,j)是判断图像块x_i和x_j的相似程度的距离，D(i,j)越小表示块x_i和x_j越相似，常数δ＝50，τ₃每次迭代减小0.25，初值为0.75，<·,·>表示点积算子，|·|表示绝对值操作；表示图像块x_i的每个像素沿着水平和竖直方法的梯度的连结，K表示一个块包含的像素个数，函数S测量彩色块的可信性，图像块x_i和图像块z_i的一致性越高，S越大，w₁和w₂是权重，exp(·)表示以e为底的指数函数；23)对于每个深度块xi都可以找到n个最相似的块，这些相似块组成集合Ωi，变换域上的正则项为：其中，||·||1是l1范数，αi,q是块xi的第q个相似块对应的稀疏系数，q属于相似块组成的集合Ωi，ζi,q是相应的加权权重，βi是相似块的系数的加权平均值，τ1是标准化因子，常数τ2设为75；3)空域正则项EMTV(x,z)的设计多边总变差的空域正则项EMTV(x,c)计算公式如下：其中，Θ是标准化因子；和分别表示让图像x沿着水平和竖直方向移动l和m个像素，p为常数，核P_m,l包含三项，分别是空域项彩色项和深度项31)空域项是一个二维的Kaiser窗，物理含义表示两个像素越远，对应的空域项应该越小；32)彩色项利用深度‑彩色图像对的关系：其中，z是向量化的高分辨率彩色图，常数γ1和σ1分别设为1.05和100；33)深度项如下：其中，常数ρ，γ2，γ3，σ2,σ3和ε分别设为1.15,2,3,8000,12000和10；4)采用交替方向法ALM求解优化模型，交替更新深度图和稀疏系数，更新深度图时利用迭代再加权最小二乘算法IRLS，更新系数时使用soft算子。