[发明专利]一种多尺度图像超分辨率重建的方法及装置

说明书

本发明实施例提供了一种多尺度图像超分辨率重建方法及装置，利用基于残差结构和重建结构的多尺度图像超分辨率重建模型，将第一分辨率图像处理为多尺度的第二分辨率图像，第二分辨率大于第一分辨率。第一分辨率图像通过学习残差，利用更多深层特征，充分恢复高频细节；第一分辨率图像经过多层残差结构之后进入重建结构，重建结构在保持经过的图像分辨率不变的情况下尺寸变大，从而输出不同尺度的第二分辨率图像。针对不同尺度的第二分辨率图像，只需经过相应层数的残差结构，而无需针对不同尺度的第二分辨率图像都经过固定层数的残差结构，节约了处理时间，在保证图像清晰度的前提下提高了图像超分辨率的效率。

技术领域

本发明实施例涉及图像处理领域，尤其涉及一种多尺度图像超分辨率重建方法及装置。

背景技术

传统的低分辨率图像的超分辨率重建主要采用插值法，如最近元法、双线性内插法和三次内插法等。这些方法针对图像上每个像素点的值是用其周围几个点进行计算逼近得到，而这些采用插值法的方法得到的图像过于平滑，丢失了很多高频细节，因此导致最终得到的高分辨率图像不能很好地保留原始图像的细节。

目前，低分辨率图像的超分辨率重建也有一些基于深度学习的方法，主要采用大量的高分率图像建立学习库产生学习模型，在对低分年率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节。但目前这种基于深度学习的方法仅使用了低分辨率图像的表层特征，对于低分辨率的深层特征运用较少。

但是，目前的基于深度学习的低分辨率图像的超分辨率重建方法一般仅能获得单尺度的高分辨率图像，若需要获得多尺度的高分辨率图像，则需要建立多个不同尺度的超分辨率模型，利用不同尺度的超分辨率模型获得多尺度的高分辨率图像，过程繁琐；或利用单一模型获得多尺度的高分辨率图像，不能同时获取多尺度的高分辨率图像，效率较低。

发明内容

为了解决目前针对低分辨率图像的超分辨率重建方法不能同时获得多尺度的高分辨率图像的问题，本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的多尺度图像超分辨率重建方法。

根据本发明实施例的第一方面，提供了一种多尺度图像超分辨率重建方法，该方法包括：获取第一分辨率图像；将第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像；多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到，第二分辨率大于第一分辨率；多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。

根据本发明实施例的第二方面，提供了一种多尺度图像超分辨率重建装置，该装置包括：获取模块，用于获取第一分辨率图像；处理模块，用于将第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像；多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到，第二分辨率大于第一分辨率；多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。

根据本发明实施例的第三方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的多尺度图像超分辨率重建方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的多尺度图像超分辨率重建方法。