[发明专利]基于深度递归卷积网络的单张图像超分辨率重建方法

说明书

本发明公开了一种基于深度学习网络的单张图像超分辨率重建方法。包括以下步骤：使用两个卷积层，用于从原始的低分辨率图像中提取低层次的特征；六个级联的残差单元用来提取高层次的特征，密集连接可以加强信息的重利用并且能够降低计算的复杂度；每个残差单元后1×1的卷积层用来控制前一状态需要保留的特征图的维度；一个反卷积操作用来恢复特征从而获得残差图像；上采样的低分辨率图像和高分辨率残差图像经过一个求和操作得到最终的高分辨率输出图像。本发明中采用密集连接将低层次特征和高层次特征结合起来，从而为重建高分辨率图像提供更多信息，同时采用残差学习的方式来解决梯度消失或梯度爆炸的问题。

技术领域

本发明属于图像处理领域，特别涉及一种基于深度递归卷积网络的单张图像超分辨率重建方法。

背景技术

从低分辨率版本中恢复高分辨率图像的过程称为单张图像的超分辨率重建，近几十年来备受关注。单张图像超分辨率重建的方法包括基于插值的、基于重建的以及基于学习的。最近，一类基于前馈神经网络的单张图像超分辨率重建方法成为了一种引人注目并且有效的方法。

2014年Dong等人提出了一种具有三个卷积层的卷积神经网络 (SRCNN)，直接学习低分辨率图像和高分辨率图像之间的映射。2016 年Kim等人提出了一种非常深的网络(VDSR)，通过采用高学习率去提高收敛速度，同时采用残差学习和梯度裁剪的方式解决了梯度爆炸的问题。同时，Kim等人提出了一种深度递归卷积网络(DRCN)去解决由于网络层数加深而引起的参数增加的问题。2017年Tai等人提出了一种深度递归残差网络(DRRN)，将全局残差学习、局部残差学习以及递归结构引入到网络中，加快了网络训练速度并且减少了参数。然而上述的方法都将插值放大的图片作为输入，其意味着单张图像超分辨率重建是在高分辨率空间上进行的这将增加计算的复杂度。为了解决这个问题，本发明中将原始的低分辨率图像作为输入。并且上述方法中仅仅将高层次特征用于重建高分辨率图像，这似乎不太合理。事实上，低层次的特征也可以为重建高分辨率图像提供一些细节信息，因为图像重建应该受益于不同层次收集的所有信息。

因此，现有技术在图像重建中存在一些细节信息缺失，其重建效果不佳。

发明内容

本发明的目的是提供一种基于深度递归卷积网络的单张图像超分辨率图像重建方法，减少了细节信息缺失，提升了图像重建效果。

为了实现上述目的，本发明提供了一种基于深度递归卷积网络的单张图像超分辨率图像重建方法，包括以下步骤：

与现有技术相比，本发明的有益效果在于：

本发明利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像。由于将插值放大的图片作为输入意味着单张图像超分辨率重建是在高分辨率空间上进行的这将增加计算的复杂度。为了解决这个问题，本发明中将原始的低分辨率图像作为输入。密集连接能够将低层次特征和高层次特征结合起来，从而为重建高分辨率图像提供更多信息。本发明中采用密集连接将低层次特征和高层次特征结合起来，从而为重建高分辨率图像提供更多信息，同时采用残差学习的方式来解决梯度消失或梯度爆炸的问题。

附图说明

图1a放大倍数为2时的低分辨率图像；

图1b放大倍数为2时本发明重建的高分辨率图像；

图2a放大倍数为3时的低分辨率图像；

图2b放大倍数为3时本发明重建的高分辨率图像；

图3为本发明超分辨率图像重建算法总体流程示意图；

图4为本发明超分辨率图像重建算法中第一模块的示意图，其中数字代表特征图的维度；