[发明专利]一种由粗糙到精细的单张图像超分辨率重建方法

说明书

本发明属于计算机视觉技术领域，提供了一种由粗糙到精细的单张图像超分辨率重建方法，整体网络包含两个阶段，分别是多上下文提取阶段和重建增强阶段。多上下文阶段用于提取低分辨率空间的图像上下文特征信息，重建增强阶段用于提取利用高分辨率空间的特征信息。本发明重建出的高分辨率图像视觉效果好，并且在峰值信噪比和结构相似性等图像评价指标上表现优异。同时本专利对时间成本与硬件需求低。

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于深度学习的对单张图像进行超分辨率重建的方法。

背景技术

图像分辨率是指图像中存储的信息量，是衡量图像的重要指标。高分辨率图像包含更多的细节纹理信息，对信息的表达能力更强。随着具有较高分辨率电子产品的广泛使用，人们对高分辨率图像的需求变得越来越大。单幅图像超分辨率重建是从给定的一幅低分辨率图像重构出一幅高分辨率图像。图像超分辨率重建可以应用到许多重要的领域，例如：在医学图像MRI、CT中，超分辨率重建可以更好的帮助医生确定病体的详细状况；在监控视频中，图像的超分辨率重建可以更好帮助相关人员进行辨识，比如车牌识别和人脸识别等。深度学习已经成功应用到图像超分辨率重建中。目前，比较流行的图像超分辨率重建的方法是使用卷积神经网络。根据升采样(upsampling)在网络结构中的位置和使用方式，可以把超分网络结构设计分为四大类：前端升采样超分网络、后端升采样超分网络、渐进式升采样超分网络。

(1)前端升采样超分网络，一般使用双三次插值(bicubic)直接将低分辨率图像插值到目标分辨率，然后使用深度卷积网络等模型重建高质量细节信息。Dong等人第一次成功地将卷积神经网络应用于图像的超分辨率重建。Dong等人使用简单的层数很少的卷积神经网络分别对图像进行特征提取、建立非线性映射、高分辨率图像的重建。Kim等人通过加深网络的深度使网络能更好地提取图像上下文信息，同时采用了残差学习和更大的学习率来加速网络收敛。Kim等人提出深度递归卷积神经网络的图像超分辨率重建的方法。增加递归深度可以提高性能，却不会为附加的卷积引入新参数。这类方法显著降低了学习的难度，但是预先设定的升采样方法会引入模糊和噪声放大等问题，同时因为网络在前端即进行插值到高分辨率空间，所需的存储空间和耗时都远高于其他类型超分网络

(2)后端升采样超分网络，一般在网络结构的最后一层或几层，使用端到端可学习的升采样层。Dong等人针对时间、计算量花销大的问题，对原网络进行改进。第一，在最后一层添加反卷积层。第二，减小输入特征图的维度同时采用更小的卷积核。Shi等人引入了一个有效的子像素卷积层，该层学习了一个升序滤波器阵列，将最终的低分辨率特征图上采样到高分辨率输出。EDSR,RDN,RCAN相继引入密集连接、注意力机制与用于超分辨率重建的卷积神经网络中。后端升采样超分网络中的绝大部分映射变换都在低分辨率空间进行，计算复杂度和空间复杂度都明显降低，同时训练和测试速度也都明显提高，被多前主流超分网络框架所使用。为了更加实用，许多以轻量级为核心贡献点的网络也被提出来

(3)渐进式升采样网络，主要是解决大的超分倍增系数，升采样不是一步完成的，而是采用拉普拉斯金字塔或者级联CNN等方式，产生一些中间的重建图像作为后续模块的输入图像。Lai等人采用拉普拉斯金字塔结构逐渐增加重建图像的大小。这类方法可以降低学习难度，特别是在大的超分倍增系数时。

然而这些算法都要不可避免地面临以下几个问题：第一，为了提取来自图像的低分辨率空间信息，一些算法倾向于盲目地增加网络的深度或者宽度，从而导致增加算法的计算量；第二，图像上下文特征是重建高分辨率图像的关键信息，而当前算法不能充分有效地提取利用图像上下文特征信息；第三，大部分算法直接在网络末端进行上采样操作进而重建最后的高分辨率图像，该操作会增加训练大倍数超分辨率重建的难度，并且难以利用在高分辨率空间上的信息。

发明内容

本发明针对图像超分辨率重建过程中难以有效提取利用图像上下文特征信息、高分辨率空间信息利用率低的技术难题，设计了一个基于深度学习技术的单张图像超分辨率重建算法，能够对给定的低分辨率图像，生成细节丰富、纹理清晰的高分辨率图像。