[发明专利]一种基于渐进式的深度残差网络的超分辨率图像重建方法

说明书

本发明提供了一种基于渐进式的深度残差网络的超分辨率图像重建方法，主要包括如下步骤：(1)选择训练数据集和测试数据集，并对训练数据集图像进行旋转和比例缩放处理，扩充训练数据集图像；(2)将得到的训练数据集图像进行下采样处理；(3)将原始训练数据集图像和步骤2低分辨率图像分别裁剪成图像块；(4)将对应相同位置的步骤3原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为HDF5的训练数据集文件；(5)搭建渐进式的深度残差网络；(6)训练渐进式的深度残差网络；(7)将低分辨率图像输入到上述渐进式的深度残差网络模型中，输出得到重建后的高分辨率图像。

技术领域

本发明属于图像数字化处理技术领域，涉及一种基于渐进式的深度残差网络的超分辨率图像重建方法。

背景技术

随着图像和视频数字化处理技术的不断进步，人们总是期望得到更高质量的图像。影响图像质量的因素主要分为两大部分，一是前期生成图像过程中的聚焦不准、人为抖动、物体运动等客观因素；二是图像传输和存储过程中可能由于噪声信号处理和欠采样效应等导致的图像质量下降。评价图像质量的重要指标是图像分辨率。当分辨率越高，图片像素密度越大，单位面积上的像素数目越多，所提供的细节信息也就越多，图像的质量也就越好。

图像超分辨率重建技术是一种从一幅低分辨率图像或图像序列中恢复出高分辨率图像的技术。随着科学技术的快速发展，图像超分辨率重建技术在诸多领域中都到了广泛应用，例如城市管理领域、军事侦察领域、医疗图像等等。这些应用领域对图像超分辨率重建技术的要求越来越高，如何重建出效果更好的高分辨率图像仍然是一个基础性且亟待解决的任务。

近年来，随着深度学习在图像处理领域内表现出巨大的潜力，众多研究者提出了基于深度学习的超分辨率图像重建方法。Dong等首次将卷积神经网络应用到超分辨率重建技术中，提出基于卷积神经网络的超分辨率重建方法(Super-Resolution ConvolutionalNeural Network，SRCNN)。虽然该方法的重建效果优于传统方法，但是由于该方法只使用了3层卷积神经网络，难以提取图像深层细节信息，导致重建图像上下文信息缺乏关联。针对此问题，Dong等又提出基于快速的卷积神经网络超分辨率重建方法(Fast Super-Resolution Convolutional Neural Network，FSRCNN)。该方法将卷积层数加深到8层，并在网络的最后一层使用反卷积操作代替双三次插值操作进行图像上采样。虽然FSRCNN的重建效果相比SRCNN方法得到提升，但是8层卷积网络提取的图像深层信息依然有限。后来，Kim等又提出了基于深度卷积神经网络的图像超分辨率重建方法(Accurate Image uper-Resolution Using Very Deep Convolutional Network，VDSR)，该方法将卷积层数加深到20层，并将残差结构运用到深度卷积网络中，使得重建效果得到较大提升。但是在较大的缩放因子下只用一次上采样操作容易造成大量信息丢失，导致训练困难。

发明内容

本发明的目的在于针对现有技术存在的问题，提供一种基于渐进式的深度残差网络的超分辨率图像重建方法，该方法可以解决已有方法由于对重建图像只进行一次上采样而造成大量图像细节信息丢失的问题，能够在较大的缩放因子下仍然重建出清晰的高分辨率图像。

为此，本发明采用如下技术方案：

一种基于渐进式的深度残差网络的超分辨率图像重建方法，包括如下步骤：

步骤1：选择训练数据集和测试数据集，并对训练数据集图像进行旋转和比例缩放处理，扩充训练数据集图像；

步骤2：将步骤1得到的训练数据集图像进行1/N比例下采样处理，其中N为缩放因子；

步骤3：将原始训练数据集图像和步骤2得到的低分辨率图像分别裁剪成大小为H×W和H/N×W/N像素的图像块；