[发明专利]用于图像超分辨率重构的递归密集残差网络

说明书

一种用于图像超分辨率重构的递归密集残差网络，网络以密集连接的多层卷积神经网络为递归单元，在此基础上进行多次残差递归。通过密集连接充分利用低分辨率图像信息，多次残差递归保证了深层的网络能够得到更好的训练。主要包括以下步骤：1)数据预处理，将低分辨率图像由RGB转换成YCrCb图像，再取Y通道图像将其裁剪成31*31大小的子图像。2)网络训练，准备好训练和测试数据集，基于caffe框架训练好网络。3)通过训练好的网络实现超分辨重构，将预处理好的数据分别通过训练好的网络，得到重构后的Y通道子图像。把所有重构的子图像按原来的位置拼合起来，得到最终的整幅Y通道图像，最后结合对应的其他两个通道组合成重构后的YCrCb图像，再转换成RGB图像。完成图像的超分辨率重构。

技术领域

图像处理。

背景技术

超分辨率影像重构技术于60年代有Hamm和goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法都做出了较好的仿真结果，但并没有在实际中得到广泛的应用。在90年代初，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨影像重构方法研究上取得了进一步的发展，近年来，随着人工智能等学科的蓬勃发展，以及深度学习在计算机视觉领域的出色表现，越来越多的基于深度学习的图像重构技术被提出。并且，相比传统的方法取得了更好的效果。由于超分辨率重构是采用算法的方法来提升图像的空间分辨率，而不需要更换原有的成像设备，使之成为一种有效而经济的方法。自开始研究到现在，其应用已经渗透到航天航空遥感，医学计算机成像的分析，目标识别、监视系统成像等诸多领域。

图像超分辨率重构目的在于通过相关技术，从一张低分辨率图像中恢复出一张相应的高分辨率图像。到目前为止，图像超分辨率重构方法可以广义地分为两大类：传统的多帧图像超分辨技术和基于样本的图像超分辨率重构。在传统的多帧图像超分辨重构方法中，首先需要获得一组基于同一场景的低分辨率图像(像素不重合)，通过求解相应确定的方程组获得超分辨率图像。与此不同的是，在基于样本的超分辨率重构方法中，相对应的低分辨率图像块和高分辨率图像块映射关系通过相应的低分-高分图像数据集学习获得。目前主要的研究都集中在基于样本的图像超分辨率重构，而且，随着深度学习展现的强大学习能力，尤其是卷积神经网络在计算机视觉领域广泛而成功的应用。基于深度学习的图像超分辨重构技术不断发展。例如，chao dong和Chen Change Loy提出了利用三层卷积神经网络(SRCNN)进行图像超分辨率重构，这也是首次利用深度学习技术应用于图像超分辨率重构。之后相继提出了VGG网络，残差网络，和密集网络等等一系列的网络模型，用于从算法层面实现图像超分辨率重构。

现有的专利中，董吉文等人的专利中[1],通过模型中的二次特征提取层对医学图像进行更细致的特征提取，通过模型中的重叠池化层减小提取的特征维度，使提取的特征更具代表性，通过模型中的连接层弥补各层卷积操作的损失，最终得到更好的超分辨率重构效果。杨鑫等人的专利中[2]，主要是利用深度卷积神经网络探索一种实现速度快、修复品质高的单幅图像超分辨率重构方法。提供更加适合于单幅图像的超分辨率重建算法融合的方法，解决时间损耗多、算法实现所需要的硬件需求高等问题。

[1]一种基于多层卷积神经网络的医学图像超分辨率重构方法，申请号/专利号：CN201710655267.8，发明设计人：董吉文高运星李恒建冯光。

[2]基于卷积神经网络的超分辨率方法，申请号/专利号：CN201710859461.8，发明设计人：杨鑫王鑫许可尹宝才张强。

发明内容