[发明专利]一种基于改进的稠密卷积神经网络的超分辨率重建方法

说明书

本发明公开了一种基于改进的稠密卷积神经网络的超分辨率重建方法：包括数据准备阶段；网络结构搭建阶段；模型训练阶段；图像重建阶段。本发明将稠密卷积神经网络结构的思想应用到单帧图像的超分辨率重建，并在DenseNet结构的基础上改进了网络结构，进一步优化了模型框架，提升了算法效果。

技术领域

本发明属于图像处理技术领域，更具体的说，是涉及一种基于改进的稠密卷积神经网络的超分辨率重建方法。

背景技术

超分辨率是近些年提出的一种提高图像清晰度的方法。在不改变图像采集的硬件条件下，早期研究利用一组存在空间位移模糊程度不同的低分辨率图像序列重建高分辨率图像，之后研究方向偏向于用单张低分辨率图像附加先验知识指导重建，称为单帧图像超分辨率重建技术。超分辨率重建后的图像包含更加丰富的细节，更高的细节分辨力，更符合人眼视觉需求，渐渐被应用于人脸识别、车牌识别、医学图像处理等领域。

单帧图像超分辨率重建算法可以大致分为三类：基于插值、基于重建、基于学习的方法。基于插值的方法假设像素的灰度值是连续变化的，并利用邻近像素的灰度值计算待插值像素的灰度值，经典的图像插值方法有最近邻插法、双线性插值以及双立方插值等。基于插值的方法简单易行，但重建图像高频信息缺失，图像过于模糊。因此，基于重建的方法在基于插值的方法基础上，人为加入一些图像先验知识，重建出更加丰富的高频细节信息。但是，由于图像先验知识依赖于实际问题的约束，所以基于重建的方法鲁棒性不高。针对这一问题，基于学习的方法利用机器学习的方法，通过建立模型学习当前超分辨率问题的先验知识，为低采样数据重建问题恢复高频信息提供了新思路，成为近几年的研究热点。鉴于深度学习在图像领域的成功应用，实验发现，卷积神经网络在单帧图像超分辨率重建问题上也卓有成效，目前通用的卷积神经网络结构，如VGG、ResNet等，都极大地提升了单帧图像超分辨率重建的效果。

但是，基于VGG和ResNet的方法都没有充分地利用图像局部特征，很难通过简单地增加网络深度的策略提高重建图像质量。

发明内容

本发明的目的是为了克服现有技术中的不足，提供了一种完整的、端到端的用于单帧图像超分辨率重建的深度学习算法，即一种基于改进的稠密卷积神经网络的超分辨率重建方法，将稠密卷积神经网络结构(Dense Convolutional Network,DenseNet)的思想应用到单帧图像的超分辨率重建，并在DenseNet结构的基础上改进了网络结构，进一步优化了模型框架，提升了算法效果。

本发明的目的是通过以下技术方案实现的。

本发明的基于改进的稠密卷积神经网络的超分辨率重建方法，包括以下步骤：

步骤一，数据准备

1)划分数据集：采用公开数据集DIV2K，该数据集包含800张训练图、100张验证图和100张测试图，其中，100张验证图用于测试重建效果，800张训练图和100张验证图都是由高分辨率图像和其相应的低分辨率图像组成，低分辨率图像是高分辨率图像经由降质模型生成的；

2)将800张训练图无重叠的分成96×96大小的图像块，作为网络输入；

步骤二，网络结构搭建

1)将96×96大小的低分辨率图像块输入一个7×7的卷积层，并采用ReLU(Rectified Linear Units)作为激活函数；

2)7×7卷积层的输出特征图输入多连接结构块，其中，每个多连接结构块均包括一个子块结构和一个恒等映射；

3)堆叠多连接结构块；

4)将最后一个多连接结构块的输出特征图输入一个1×1卷积层，降低特征图的维数；

5)采用一个跳层，将7×7卷积层输出的特征图和1×1卷积层降维后的特征图堆叠起来，共同作为放大模块的输入；