[发明专利]基于深度学习局部与非局部信息的超分辨率重建方法

说明书

本发明公开了一种基于深度学习局部与非局部信息的超分辨率重建方法。主要包括以下步骤：搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；利用前一步骤搭建的卷积神经网络，分别训练不同放大因子的超分辨率模型；以训练好的超分辨率重建模型为基础，将低分辨率图像作为输入，得到最终的超分辨率重建图像。本发明所述的方法能够利用非局部增强网络挖掘到图像更广泛区域的有效信息，因此可以有效地对低分辨率图像进行超分辨率重建，能获得很好的主客观效果，是一种有效的低分辨率图像复原方法。

技术领域

本发明涉及图像超分辨率重建技术，具体涉及一种基于深度学习局部与非局部信息的超分辨率重建方法，属于数字图像处理领域。

背景技术

超分辨率重建技术因其能提升图像的分辨率，而被广泛应用于实际生活中，如从安全领域的成像到医疗成像，因此在图像处理领域中，超分辨率重建技术受到不少研究学者的青睐并被深入地研究。提高图像分辨率的方法主要有两种：一种是通过改善硬件设备条件获取高分辨率图像；另一种是通过软件提升图像的分辨率。通过改善硬件条件实现的方式，往往成本比较高，不能增加已拍摄图像的分辨率，局限性强。因此，软件超分辨率重建技术成为了近年来图像处理的一个研究热点。

超分辨率重建技术是一种后处理技术，主要的优点在于能够在不改变现有硬件条件的情况下提高图像的分辨率。此类方法大致分为基于插值的方法，基于重建的方法，以及基于学习的方法。其中，基于学习的方法，由于复原速度快和复原后的图像质量好，往往具有更多的实际意义。近年来，随着计算机技术的发展和设备的更新换代，基于卷积神经网络学习的方法取得了较大发展，相比之前的一些基于学习的方法，其学习效率高且能够更好地恢复低分辨率图像损失的细节信息。然而，现有的基于深度学习的超分辨率重建方法，大多是局部卷积神经网络，在复原图像的质量上还有进一步提升的空间。

发明内容

本发明的目的是结合基于深度学习局部与非局部信息的优点，进而构建一种有效的超分辨率重建方法。

本发明提出的基于深度学习局部与非局部信息的超分辨率重建方法，主要包括以下操作步骤：

(1)搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；

(2)利用步骤一的卷积神经网络，分别训练不同放大因子的超分辨率模型；

(3)以训练好的超分辨率重建模型为基础，将低分辨率图像作为输入，得到最终的超分辨率重建图像。

附图说明

图1是本发明基于深度学习局部与非局部信息的超分辨率重建方法的原理框图

图2为局部残差模块

图3为非局部相似性模块运算过程说明

图4为非局部残差模块

图5是本发明与另外六种方法对双三次下采样图像“216081”超分辨率重建结果的对比图(超分辨率重建因子为2)：其中，(a)为原始图像，(b)(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果

图6是本发明与另外六种方法对双三次下采样图像“223061”超分辨率重建结果的对比图(超分辨率重建因子为4)：其中，(a)为原始图像，(b)(c)(d)(e)(f)(g)(h)分别为方法1、方法2、方法3、方法4、方法5、方法6及本发明的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于深度学习局部与非局部信息的超分辨率重建方法，具体可以分为以下几个步骤：

(1)搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；