[发明专利]小波域中基于集团结构子带共同学习超分辨率网络的方法

说明书

本发明公布了一种小波域中基于集团结构子带共同学习超分辨率网络的方法，通过构建包括特征提取网络和图像恢复网络的新型超分辨率网络，实现单张图片的超分辨率恢复。通过特征提取网络将输入的低分辨率图像表示为一组特征映射；图像复原网络包括一个集团上采样模块和一个卷积层；将特征提取网络的输出特征传入集团上采样模块中，进行子带提取、自残差学习和子带精细化；使用逆离散小波变换改变特征图的分辨率大小，从而恢复得到高分辨率的特征图；再通过卷积层恢复得到高分辨率图像。本发明方法量化指标好，能够有效实现单张图片的超分辨率恢复。

技术领域

本发明涉及计算机视觉图像超分辨率恢复技术，尤其涉及一种小波域中基于集团结构的子带共同学习超分辨率网络的方法，可解决单张图片的超分辨率恢复的问题。

背景技术

单图像超分辨率是指从单个低分辨率图像重建高分辨率图像，这是一个不适定的反问题。几年来，研究者对单图像超分辨率的研究兴趣日益增加。最近，卷积神经网络(文献[1]、[2]、[3])显著改善了单图像超分辨率问题中的重建高分辨率图和真实图的峰值信噪比。这些网络通常先使用特征提取模块从低分辨率图像中提取一系列特征图，接着与上采样模块级联以增加分辨率进而重建高分辨率图像。

提取特征的质量将严重影响高分辨率图像重建的性能。现代超分辨率网络中使用的提取模块的主要部分可以主要分为三类：常规卷积层(文献[4])，残差块 (文献[5])和密集块(文献[6])。

自从2012年AlexNet(文献[7])获得ILSVRC比赛的第一名以来，传统的卷积已被学者广泛考虑来解决单图像超分辨率问题。第一个使用常规卷积来解决单图像超分辨率问题的模型是SRCNN(文献[1])。之后，许多改进的网络，如FSRCNN (文献[8])，SCN(文献[9])，ESPCN(文献[10])和DRCN(文献[11])也使用传统的卷积并取得了很好的效果。残差(文献[5])是卷积层的改进版本，其在计算机视觉问题中表现出优异的性能。由于它可以增强网络中的特征传播并减轻梯度消失问题，因此许多超分辨率网络，如VDSR(文献[11])，LapSRN(文献[12])， EDSR(文献[2])和SRResNet(文献[13])引入残余块并实现了更好的性能。为了更好地利用残差块中跳跃连接，黄高等人提出了密集网络(文献[6])。密集块在层之间建立更多连接从而扩大信息流。Tong Tong等(文献[14])提出使用密集块的SRDenseNet，这进一步提高了性能。

文献[15]记载了杨一博等人提出了一个名为集团块(clique block)的新型块，其中一个块中的层被构造为一个团，并以循环方式交替更新。任何层都是同一块中另外任一层的输入和输出从而最大化信息流动。集团块中的信息传播包含两个阶段：第一阶段和密集块一样进行计算；第二阶段通过使用任何层之间的跳跃连接(包括后续层之间的连接)来提取特征图。

采用合适的上采样模块可以进一步改善图像重建性能。现代超分辨率网络中用于提高分辨率的上采样模块也可以主要分为三类：内插上采样，反卷积上采样和子像素卷积上采样。