[发明专利]基于级联收缩扩张的深度残差网络图像超分辨率重建方法

说明书

本发明公开了一种基于级联收缩扩张的深度残差网络图像超分辨率重建方法，包括：首先获取低分辨率观测图像序列，对所述序列中任意一幅图像进行双三次差值运算，得到高分辨率图像的初始估值；然后基于级联收缩扩张的深度残差神经网络，对初始估值图像进行深度残差神经网路训练，将训练好的特征图与初始估值图像相加，恢复出低分辨率图像对应的高分辨率图像。本发明有效解决了现有技术中网络结构冗余、训练复杂、图像重建细节不足的问题，实现超分辨率图像更好的细节恢复，而且算法简单，运行速度快，实用性强。

技术领域

本发明涉及多媒体技术领域，具体属于数字图像和数字视频处理技术领域，特别涉及一种基于级联收缩扩张的深度残差网络图像超分辨率重建方法。

背景技术

图像的超分辨率重建技术广泛的应用在各个领域，包括医学图像，卫星图像，视频监控，高清视频和检测与识别任务。在卫星图像领域，由于受到遥感卫星发射成本、成像质量等条件的制约，同时也存在着卫星图像在传输过程受到不可预测的大气扰动和外太空电磁信号干扰，获取的遥感卫星图像的分辨率往往无法达到许多任务的需求。使用图像重建技术提高HR水平，可有效的节约卫星资源成本，也有助于提高遥感卫星的识别和侦察能力。图像超分辨率目的是在给定一张或者数张低分辨率图像的情况下，重构得到一张超分辨率图像。在过去的十几年中，研究人员提出了许多图像超分辨率重建算法，根据低分辨率图像的数目，图像超分辨率重建算法可以分为多幅图像的超分辨率重建算法和单幅图像的超分辨率重建算法。

对于单幅图像的超分辨率重建，目前存在着许多不同的算法。基于传统的插值方法都是通过一个基函数，比如双线性插值、双三次插值以及最近邻算法，通常情况下，这些方法都简单有效，但是由于这些算法的像素插值操作，会导致边缘和高频区域出现混叠效应和模糊失真。

近年来基于深度学习方法的图像超分辨率重建技术取得了很大的发展和效果，在重建效果和时间效率上超越了传统的基于重建和基于稀疏表示的方法。但是，基于深度学习的超分辨率重建技术目前仍然无法较好的处理实际问题，因此还有很大的提升空间。目前，基于深度卷积神经网络的图像超分辨率重建技术存在如下问题：

1)重建网络的结构存在冗余：

当前基于深度学习的超分辨率重建方法仍然存在许多问题，其中之一是由于深度网络结构的层次比较深，导致存在参数比较多，计算量比较大的问题。目前图像超分辨率重建框架广泛采用的是基于残差学习的卷积神经网络，并且已经取得了较好的效果。但是如何设计残差结构，以丰富超分辨率重建细节并且不增加网络大小，仍是需要解决的问题。

2)重建图像细节不足：

图像超分辨率重建是一个病态问题，因为对于每一个低分辨率图像与其对应的高分辨率图像的可能解空间是可能非常大的。目前基于深度卷积神经网络的单幅图像高分辨率重建的准确性和速度都有了突破，传统的图像超分辨率重建算法对于增加感受野通常使用更多的卷积层或使用扩张卷积来实现。但是，使用更多的层意味着网络庞大且复杂以及更难训练。另外，在图像超分辨率重建中使用扩张卷积往往会导致网格效应。

发明内容

本发明的目的是通过图像重建技术降低成本克服硬件的局限性，同时为人们提供了一种有效可行的算法解决方案，提出了一种基于级联收缩扩张的深度残差网络图像超分辨率重建方法，以解决上述现有技术存在的问题，实现超分辨率图像更好的细节恢复，算法简单，运行速度快，实用性强。

为实现上述目的，本发明提供一种基于级联收缩扩张的深度残差网络图像超分辨率重建方法，其具体技术方案如下：

一种基于级联收缩扩张的深度残差网络图像超分辨率重建方法，包括：

步骤S1，获取低分辨率观测图像序列，对所述序列中任意一幅图像进行双三次差值运算，得到高分辨率图像的初始估值；