[发明专利]基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法

说明书

本发明公开了一种基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法。该方法对基于卷积神经网络的单幅图像超分辨率重建方法进行改进，在以往的深度模型的基础上，结合多尺度卷积模块、残差模块、密集连接结构及1*1卷积，提出了多尺度残差稠密块。并且，基于多尺度残差稠密块构建多尺度残差稠密网络用于单幅图像的超分辨率重建。该方法能够从图像中学习到不同层次的特征，可以有效恢复图像中的高频信息，解决了重建网络特征信息利用不足，感受野较低，重建效果不佳，重建高分辨率图像边缘模糊等问题；同时由于多尺度残差稠密模块对低分辨率图像的信息充分利用，获得了较为理想的效果，重建出精度较高的高分辨率图像。

技术领域

本发明涉及自然图像超分辨率重建方法领域，特别是一种基于深度学习及多尺度残差稠密模块的卷积神经网络超分辨率重建方法。

背景技术

自20世纪70年代以来，众多数字成像设备被广泛应用于数字图像的获取。随着信息化时代的发展，越来越多的数字化应用信息的传播和使用。其中含有丰富信息的图像、视频以非常直观有效地描述信息的特点成为了主要的信息来源，在信息的传播和使用过程中扮演着非常重要的角色。尤其是近年来，人们的生活水平不断提高，互联网技术日新月异，智能手机等移动设备也逐渐呈普及之势，图像、视频等多媒体资源以丰富直观的特点在我们日常生活中占据着越来越重要的地位。但由于图像获取过程中的变形、平移、模糊、噪声以及传感器尺寸等因素，成像系统难以无失真地准确描绘原始场景的信息。尽管近几年数字设备突飞猛进的发展，图像和视频的质量也依旧无法完全满足人们在工作、学习、生活中的需求。为了得到更高分辨率的图像，一般可以通过硬件和软件途径进行改进。从硬件条件上考虑，主要通过提高硬件工艺制造水平增加图像单位面积的像素量，或通过增大传感器的尺寸增加总像素量。如今传感器的革新对工艺的要求越来越高，通过硬件的方法提高图像的分辨率需要的条件太苛刻。所以需要通过软件的方法来突破硬件设备的限制从而提高图像的分辨率，即本发明研究的图像超分辨率重建技术。

近几年对于图像超分辨率重建技术的研究主要有以下三个方向：

(1)基于插值的方法。这部分是研究最早的超分辨率重建方法，它的主要目标是单帧图像的重建。主要思想是利用自然图像具有局部平滑性，通过相邻的像素点计算得到插值像素的灰度值，这个方法简单并且计算速度快。经典的插值算法要包括：最近邻插值(Nearest)、双线性插值(Bilinear)和双立方插值(Bicubic)。

(2)基于重建的方法。这部分是对图像成像过程的数学模型进行求解，其中图像成像过程将在2.2.1节进行介绍。图像的降质模型求解是一个病态的逆问题，为了得到可行解，该方法的是思想是结合相同场景下多幅图像序列的信息作为先验知识，建立正则项，得到病态问题的可行解，回复图像中丢失的高频信息，重建方法主要包括迭代反投影法(IBP，Iterative Back Projection)、凸集投影法(POCS,Projection Onto Convex Sets)和最大化后验概率(MAP,Maximum A Posterior)。

(3)基于学习的方法。近些年，随着计算机硬件性能的飞速提升，以机器学习理论与应用得到快速发展。以机器学习为基础的深度学习技术在各行各业得到了广泛的应用，特别是计算机视觉领域。传统的超分辨率重建算法能够使用的先验知识太少。基于学习的算法的主要思想是通过学习低分辨率图像和高分辨率图像之间的关系，从而得到一个学习模型，并将此作为先验知识来进行重建。

发明内容

本发明的目的在于提供一种基于卷积神经网络的单幅图像超分辨率重建算法，提出多尺度残差稠密模块，完成图像的超分辨率重建。

实现本发明目的的技术解决方案为：一种基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法，包括以下步骤：

步骤1、针对特定数据集划分，得到训练集和测试集；

步骤2、设计和实现网络模型