[发明专利]深度图像的超分辨率重建方法、装置、设备及存储介质

说明书

本发明适用计算机技术领域，提供了一种深度图像的超分辨率重建方法、装置、设备及存储介质，该方法包括：对输入的低分辨率深度图和对应的高分辨率彩色图进行预处理，以获取低分辨率深度图的高频信息图像和低频信息图像、以及高分辨率彩色图的高频信息图像，对获取的两个高频信息图像分别进行特征提取和全卷积操作，生成高频全卷积特征图，对低分辨率深度图的高频全卷积特征图进行放大，然后和高分辨率彩色图的高频全卷积特征图进行全卷积特征融合，并对得到的融合图像进行重建，根据重建后高频图像的尺寸对低分辨率深度图的低频信息图像进行放大，然后与重建后高频图像进行叠加，得到高分辨率深度图像，从而提高了深度图像的超分辨率重建效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种深度图像的超分辨率重建方法、装置、设备及存储介质。

背景技术

深度图像记录了三维场景中物体到相机成像平面的距离信息，可用于虚拟视点绘制，实现自由视点等功能，给人们提供沉浸式的体验。然而，受制于目前硬件技术等限制，深度相机所捕获的深度图像分辨率较低，而且在3D场景中我们往往需要与彩色图像分辨率一致的深度图像，比如在制作多视角3D视频以及裸眼3D电视的技术中。因此，为了在三维场景中更加精确地重建物体的深度信息，还原更真实的场景，需要一种高效可行的图像超分辨率方法对所采集的低分辨率深度图像进行超分辨率重建。

目前，针对图像的超分辨率的相关工作主要可以大致分为四类：第一类方法为经典滤波方法，即设计一种上采样的滤波器对低分辨率深度图进行滤波。Yang等人提出通过比较中间像素和其周围相邻区域的色彩相似性对每个深度图小块用联合双边滤波器去给平滑区域加上对应的权重，但经典的滤波方法都存在过于固定的问题，一旦确定了某种滤波方式，则对应的滤波器结构就固定了下来，因此，该无法很好地去自适应其它的一些未考虑到的条件和场景。第二类方法是将深度图像超分辨率看作函数优化问题，如Diebel等人提出了用马尔可夫随机场来表示该问题，但这种基于函数优化求解图像超分辨率的方法都需要明确地规划这个优化问题，这使得最终超分辨率效果与选择的优化函数有极大的关系，而现如今这种方法已发展得较为成熟，在效果上难以有显著的提升。第三类方法是字典学习的方式，通过稀疏编码的方法找到低分辨率和高分辨率深度块之间的关系，用少量的数据表示高维的特征。Yang等人提出寻求一种高分辨率和低分辨率之间的关系系数来得到高分辨图像的方法，但基于稀疏编码的超分辨率方法不仅重建时间长，无法做到实时性且还需要做额外的正则化，实现起来较为复杂。

第四类方法是基于卷积神经网络的方法，主要是利用低分辨率和高分辨率图像块之间的先验知识进行超分辨率重建。该方法与第三种字典学习的方法区别在于不需要明确地学习某个字典，例如Osendorfer等人提出通过卷积字典的推动，用卷积的稀疏编码方法来实现图像超分辨率；Dong等人则提出一个简单端到端的超分辨率卷积神经网络(SRCNN)来重建图像，并取得了较好的效果；Christian等人采用生成对抗神经网络(SRGAN)，在对图像恢复的效果中考虑到了人类视觉的主观感受；Mehdi等人采用深度残差网络(Res-Net)对图像进行超分辨率。但以上基于卷积神经网络的方法基本是对彩色图像进行超分辨率，针对深度图像超分辨率的网络并不多见，只有Hui等人针对深度图像提出的一个彩色图指导的超分辨率卷积神经网络(MSG-Net)，然而，这种方法为了寻求良好的融合策略，会使网络结构复杂化，以至于网络参数过多，导致网络训练出现难以收敛、训练时间长等情况。综上所述，现有的低分辨率深度图像超分辨率重建方法无法同时提高深度图像重建效果和深度图像重建速率，导致深度图像的超分辨率重建效率不高。

发明内容

本发明的目的在于提供一种深度图像的超分辨率重建方法、装置、设备及存储介质，旨在解决由于现有技术难以在保证深度图像重建效果的同时，提高深度图像重建速率，导致深度图像的超分辨率重建效率不高的问题。

一方面，本发明提供了一种深度图像的超分辨率重建方法，所述方法包括下述步骤：