[发明专利]基于深层门限卷积神经网络的图像超分辨方法

说明书

本发明公开一种基于深层门限卷积神经网络的图像超分辨方法，主要解决现有技术在网络加深时图像超分辨效果会降低的问题。其实现步骤是：1.获取成对的低分辨和高分辨图像数据作为训练数据；2.定义一种门限卷积层，用它取代现有的卷积层，构建一个端到端的深层门限卷积神经网络；3.将训练数据输入深层门限卷积神经网络用Adam优化方法进行训练；4.利用训练好的深层门限卷积神经网络进行图像超分辨。本发明有效的减小了深层神经网络的梯度衰减的问题，实现了深层网络的图像超分辨应用，增强了图像超分辨效果；提高了图像超分辨的速度，可用于卫星遥感领域，医学领域，交通监控及视频压缩。

技术领域

本发明属于图像处理技术领域，具体是一种图像超分辨方法，可用于卫星遥感领域，医学领域，交通监控领域以及视频压缩领域等。

背景技术

图像超分辨是指从一个低分辨图片中学习恢复出高分辨图像的一种技术。相比较于低分辨图像来说，高分辨图像可以表达更多详细的信息，其细节表达能力更强，因此，图像超分辨在很多的领域都有着极大应用，如卫星遥感领域，医学领域，交通监控领域，以及视频压缩领域等。

目前为止，图像的超分辨方法主要有三个主要分类：基于插值，基于重建和基于学习的方法。而基于学习的方法由于引入了先验信息的样例，增加了更有效的约束，提高了重建图像的准确性，所以在近几年来取得了极大的发展，逐渐成为图像超分辨的主流方法，而且其性能也远远超过了另外两种方法。在基于学习的方法中大致又分为两大方向：基于字典学习的方法和基于神经网络的方法。

基于字典学习的方法主要是基于稀疏编码的超分辨算法SCSR，它是由Yang等人就是从压缩感知理论出发提出的，这种方法的流程是：首先从输入图像中有重合的提取图像块，并拉成一个向量，并进行减均值和归一化的预处理；然后经过低分辨学到的字典进行编码，学到他们的稀疏表示；接着，将稀疏参数对应到高分辨字典中，得到高分辨的图像块；最后，有重合的重构原图，对重合部分取平均，就得到了最终的高分辨图像。该方法的缺点是在应用时学习低分辨字典的稀疏表示的时候用时非常长。

基于神经网络的方法中最典型的就是基于卷积神经网络的图像超分辨方法SRCNN，它是由Chao Dong等人在2015年提出的，方法中构建了一种基于三层卷积神经网络的图像超分辨模型，该模型是一个由低分辨图像到高分辨图像的端到端的映射。在应用过程中，由于不需要另外学习参数，所以用时短；但该方法的弊端是在网络的层数加深时模型的学习效果会下降。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于深度门限卷积神经网络的图像超分辨方法，以加快图像超分辨的速度，提高图像超分辨的性能。

本发明的技术方案是对原有的SRCNN方法进行改进，其一方面，是用门限卷积层取代传统的卷积层；另一方面，将原有三层网络的拓展到了更多层，其具体的实现步骤如下：

1)获取成对的低分辨和高分辨图像数据：

对自然图像先进行下采样处理，然后再用双线性三次插值法，得到与之对应的低分辨图像，最后随机采样，得到大小相同的成对低分辨图像和高分辨图像作为训练数据；

2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进，构建一个端到端的深层门限卷积神经网络：

2a)定义一种门限卷积层，并用它来代替SRCNN中的卷积层，得到浅层的门限卷积神经网络；

2b)将浅层的门限卷积神经网络拓展到更多层神经网络，且最后一层采用反卷积神经网络重构高分辨图像，得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络；

3)用Adam优化方法对深层门限卷积神经网络进行训练：