[发明专利]单张图像超分辨率重建系统及方法

说明书

本发明公开了一种单张图像超分辨率重建系统及方法，包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。本发明实现了单张图像的超分辨率重建，复杂度低、效果好。

技术领域

本发明属于图像处理领域，特别涉及一种单张图像的超分辨率重建方法。

背景技术

单张图像超分辨率是计算机视觉领域的一个热门话题。它广泛应用于各个领域，包括人脸识别、卫星成像和医学成像等。超分辨率重建的目的是从给定的低分辨率图像中恢复高分辨率图像。然而，当上采样因子较大时，恢复图像中的高频信息就变得非常困难。因此，很有必要从低分辨率图像中收集更大范围内有用的上下文信息，以便捕获足够的信息来恢复高分辨率图像中的高频细节。

本发明主要关注的是基于学习的方法，这是近年来最流行的超分辨率重建方法。这种方法主要学习低分辨率图像和高分辨率图像之间的映射关系并且实现了较好的重建效果。

2014年Dong等人提出了一种具有三个卷积层的卷积神经网络 (SRCNN)，直接学习低分辨率图像和高分辨率图像之间的映射，与以前的方法相比，该方法具有更好的性能。然而，当网络层数加深时，网络的收敛速度变得很慢并且网络训练变得非常困难。为了克服SRCNN的局限性，Kim等人提出了一种非常深的网络(VDSR)，通过采用高学习率去提高收敛速度，同时采用残差学习和梯度裁剪的方式解决了梯度爆炸的问题。同时，Kim等人提出了一种深度递归卷积网络 (DRCN)去解决由于网络层数加深而引起的参数增加的问题，并且运用递归机制和跳跃连接去降低训练的复杂度。为了得到放大因子为8 的模型，Lai等人提出了一种名为LapSRN的网络，其在一个前馈过程中利用拉普拉斯金字塔去产生不同尺度的中间预测结果。而现存的基于卷积神经网络的方法没有提供如此的灵活性。为了减少参数，Lai等人在LapSRN的基础上做了进一步改进，提出了MS-LapSRN，其通过使用递归结构达到了减少参数的目的并且提高了重建性能。

然而，现有技术中，对于单张图像的超分辨率重建，仍然较为复杂，重建效果不佳。

发明内容

本发明的目的是提供一种单张图像的超分辨率重建系统及方法，降低了重建复杂度和提升了重建效果。

为了实现上述目的，本发明提供了一种单张图像的超分辨率重建方法，包括以下步骤：

采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；

两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；

重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；

将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。

可选的，在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征；第二个卷积层的结果要和细提取块的结果相加，第二个卷积层中使用64 个大小为3×3的卷积核；

分别定义嵌入网络的输入图像为x，嵌入网络的输出图像为y；对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：

L₁＝f₁(x),L₂＝f₂(L₁)

其中，f₁,f₂为特征提取函数，L₁,L₂分别为第一个卷积层和第二个卷积层提取的特征。