[发明专利]一种基于多方向字典的深度图像超分辨率方法

说明书

本发明公开一种基于多方向字典的深度图像超分辨率方法，包括以下步骤：步骤一：提取彩色图像特征，获得轮廓图；步骤二：对低分辨率深度图像进行插值，用高通滤波来表示其特征；步骤三：将低分辨率深度图像进行分块，计算每个图像块的几何方向；步骤四：进行字典训练；步骤五：根据步骤三中得到的几何方向，选择字典，重建深度图像。采用本发明的技术方案，使深度图像的分辨率得到增强，边界纹理区域清晰。

技术领域

本发明涉及计算机图像处理领域，具体涉及一种基于多方向字典的深度图像 超分辨率方法。

背景技术

近些年随着飞行时间相机和微软的Kinect等3D相机的迅猛发展，深度图像 已经广泛应用于低成本的计算机视觉领域，比如机器人导航、增强现实和场景分 析等。然而，受外在条件和设备本身所限，使用这些3D相机得到的深度图像往 往存在着低分辨率、大量噪声以及在一些深度边界结构丢失的问题，导致这些深 度图像不能直接用于深度感知和3D重建。

深度图像超分辨率算法目前已经取得了很大的进展，主要分为两个方面：基 于优化的方法和基于滤波的方法。基于优化的方法可以被视为能量最小化方法， 这种方法的一个标志性工作是，使用马尔科夫随机场来生成高分辨率深度图像。 比如Park等提出了一种基于加权最小二乘法的优化框架，他们用一个附加的边 缘加权方案扩展了正则项(J.Park,H.Kim,Y.-W.Tai,M.S.Brown,and I.Kweon, “High quality depth mapupsampling for 3D-TOF cameras,”in Computer Vision (ICCV),2011IEEEInternational Conference on,2011,pp.1623-1630.)。基于滤波的 方法中，联合双边滤波是一个开创性的方法，自此一系列的滤波器，比如测地线 滤波器、引导滤波器以及它们的扩展版本面世。然而无论是优化的方法还是滤波 的方法得到的深度图像往往存在一些问题，这些问题主要集中于图像边界不清晰 和一些错误的纹理信息。最近，基于学习的深度图像超分辨率算法引起了广泛关 注，这种方法是通过学习大量低分辨率图像和高分辨率图像的相关性，从而来获 得清晰的低分辨率深度图的边界信息，比如Yang等提出了基于稀疏表示的2D 图像超分辨率逼近方法(J.Yang,J.Wright,T.Huang,and Y.Ma,“Imagesuper-resolution via sparse representation,”IEEE Trans.Image Processing,vol.19, no.11.pp.2681-2873,2010.)，该方法能从一定程度上提高重建后深度图像的质量，但通过实验可以发现得到的图像纹理边界较为模糊。

综上，现有的深度图像超分辨率算法获得的结果质量较低，纹理边界区域较 为模糊，具有一定的局限性。

发明内容

本发明的目的是克服上述现有技术的缺点，提供一种质量高的深度图像超分 辨率方法，使深度图像的分辨率得到增强，边界纹理区域清晰。

本发明的深度图像超分辨算法是将图像分块进行的，对于每个图像块，通过 计算其几何方向来选择相应的字典，然后结合彩色图像纹理信息来实现超分辨率 重建。在重建过程中，使用自回归模型来加强重建约束来获得高质量的重建结果。

为实现上述目的，本发明采用如下的技术方案：

一种基于多方向字典的深度图像超分辨率方法，包括以下步骤：

步骤一：提取彩色图像特征，获得轮廓图；

步骤二：对低分辨率深度图像进行插值，用高通滤波来表示其特征；

步骤三：将低分辨率深度图像进行分块，计算每个图像块的几何方向；

步骤四：进行字典训练；

步骤五：根据步骤三中得到的几何方向，选择字典，重建深度图像。

作为优选，