[发明专利]一种基于深度学习的快速图像超分辨率重建方法

说明书

本发明涉及基于深度学习的快速图像超分辨率重建方法，属于图像处理领域。本发明选取图像训练集与测试集，用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；将低分辨率图像进行转置卷积处理，获得图像的高分辨率空间低频特征信息；图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果；图像预估的高分辨率重建结果与高分辨率图像块进行损失值度量；再对网络权值使用Adam算子进行更新，得到训练好的网络模型；在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。本发明加速图像超分辨率重建用时，同时保持良好的重建效果。

技术领域

本发明涉及一种基于深度学习的快速图像超分辨率重建方法，具体涉及深度学习中卷积网络参数调整，损失函数优化，以及对深度网络双分支结构训练过程的改进算法，属于图像处理技术领域。

背景技术

单张图像超分辨率重建技术(Single Image Super-Resolution,SISR)是指根据给定的单幅低分辨率图像，经过特定算法恢复图像由于下采样而丢失的细节信息，从而得到细节信息更丰富、画质更加细腻的高像素密度图像的过程。由于能在有限信息的情况下恢复出更精细的细节，该技术已被广泛应用于多种应用场景，如高清电视播放、视频监控和卫星成像等。由于一张高分辨率图像在不同条件下的下采样过程会获得丢失细节不一的低分辨率图像，故从低分辨率图像到高分辨率图像的重建过程为一个典型的病态逆问题，因此，对单幅图像进行超分辨率是一个富有挑战力的重建任务。

为有效解决图像超分辨率的问题，早期的SISR方法致力于使用一个简单的上采样滤波器来进行低分辨率图像的插值过程，常用的方法有三次样条插值和Lanczos上采样，这些方法能快速增加图像的分辨率密度，但重建效果并不理想，尤其在放大倍数较高时，锯齿现象较严重、细节失真普遍存在。同时，还包括了统计图像先验知识的重建方法，如使用图像块的非局部自相似结构、稀疏先验等，这一类方法的重建效果良好，但优化过程费时。

现阶段，基于学习的超分辨方法得到了越来越多的关注，尤其是基于深度学习的超分辨率方法，得益于现代计算机计算能力的大幅度提升，通过使用较大的数据集对深度模型进行长时间的训练，其在视觉定性评价与客观定量指标方面均有较大提升。2014年，Dong等人提出基于深度卷积网络的图像超分辨率模型SRCNN，其首次将卷积神经网络引入到图像超分辨率重建中，并获得了优于大部分传统方法的效果。SRCNN的主要思想是，输入经过样条插值放大的低分辨率图像LR，输出待估计的高分辨率图像SR。通过优化网络模型的参数，使SR图像与已知高分辨率图像HR之间的损失值最小化，来达到图像从LR空间映射到HR空间的目的。随后依据卷积神经网络来进行超分辨率的方法开始逐渐涌现。如Kim及其合作者在残差学习的启发下，提出使用超深网络VDSR来学习LR图像的丢失细节，并使用较高的学习率来缩减模型整体的收敛用时；2016年，其继续提出递归块结构(简称：DRCN)来进行SR重建，该结构能有效降低训练难度。在递归块的帮助下，能使网络模型将更多的时间专注于图像高频细节的学习；2017年，Tai等人则将递归块与残差学习块结合起来，提出深度递归残差网络(简称：DRRN)。该网络模型在DRCN的基础上作进一步的拓展，将特征抽取信息进一步精细化，使得学习到的特征更丰富，视觉主观评价效果更为突出。但以上方法在重建过程仍存在一些不足之处，如LR图像在输入网络结构前，使用三次样条插值方法增加整体像素值，利用网络模型纠正不恰当的插值像素值与精细化相对粗糙的纹理细节区域。这在一定程度上加大了训练用时，尤其在需求的放大倍数较高时，训练时间将以指数增长。需要注意的是，此时后续各层网络学习到的特征均在上采样LR图像上学习所得，故学习到的特征本身有相当误差的存在，而对插值像素估计不当造成的直接后果是训练难度的增加。