[发明专利]一种超分辨率图像的重构方法、装置及设备

说明书

一种超分辨率图像的重构方法包括：通过不同的超分辨率图像生成方法生成不同感知质量的图像；通过感知质量评价指标计算不同感知质量的图像的感知质量评价分数；根据所计算的感知质量评价分数对排序估计网络进行训练；根据训练后的排序估计网络计算生成对抗网络的生成器所生成的图像的排序内容损失，根据所述排序内容损失指导生成对抗网络的生成器进行训练；根据训练后的生成器对低分辨率图像进行超分辨率图像的重构，通过使用排序估计网络在感知质量评价指标上直接优化而得到更好的图像感知质量，并且能够灵活的根据需求来进行拓展，可以约束生成器生成具有不同特点的超分辨率重建图像。

技术领域

本申请属于图像处理领域，尤其涉及一种超分辨率的图像的重构方法、装置及设备。

背景技术

超分辨率图像重构技术在计算机视觉和图像处理领域拥有重要的学术研究和工业应用价值。超分辨率图像重构技术的目的就是，根据给定的低分辨率图像去重构出其所对应的高分辨率图像，并且能够得到尽量好的视觉效果和小的重构误差。

在对低分辨率图像进行重构，目前一般包括卷积神经网络的学习方法和对抗生成网络的方法。其中，卷积神经网络的学习方法使用方误差(Mean Square Error,MSE)来求卷积神经网络重建的高分辨率图像和真实高分辨率图像之间的误差。虽然通过均方误差的方式能够得到在均方误差上和真实高分辨率图像误差很小的重建结果。然而，通过均方误差的方式重建出的高分辨率图像表现出了过于平滑的效果，对于人眼观测的视觉效果不好。

现有的基于cGAN的超分辨恢复恢复技术在整体解决思路上和利用卷积神经网络进行超分辨率重建的思路类似，通过生成器G来学习低分率图像和高分辨率图像之间的映射关系，然后进一步引入了判别器D来和生成器G来进行对抗训练，同时对于生成器G生成的高分辨率图像在特定的特征空间上和真实图像进行误差计算并进行反向传播。相对于均方误差，这种方式虽然能够得到较好的视觉效果，但是和真实的高分辨率图像相比纹理细节特征却不够真实。另外一方面，感知质量评价指标使用了特征的提取和进一步的变换操作所以是不可微的，不能进行梯度求解和反向传播，这就导致了在感知质量评价指标上的优化难度高，并且视觉效果提升受限。

发明内容

有鉴于此，本申请实施例提供了一种高分辨率图像的重构方法、装置及设备，以解决现有技术中的问题。

本申请实施例的第一方面提供了一种高分辨率图像的重构方法，所述超分辨率图像的重构方法包括：

通过不同的超分辨率图像生成方法生成不同感知质量的图像；

通过感知质量评价指标计算不同感知质量的图像的感知质量评价分数；

根据所计算的感知质量评价分数对排序估计网络进行训练；

根据训练后的排序估计网络计算生成对抗网络的生成器所生成的图像的排序内容损失，根据所述排序内容损失指导生成对抗网络的生成器进行训练；

根据训练后的生成器对低分辨率图像进行超分辨率图像的重构。

结合第一方面，在第一方面的第一种可能实现方式中，所述通过感知质量评价指标计算不同感知质量的图像的感知质量评价分数的步骤包括：

将所述不同感知质量的图像裁剪为图像块；

选择同一图像内容且具有不同感知质量的图像块构成图像对，通过无参考图像评价指标获取不同感知质量的图像对的感知质量评价分数。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述根据所计算的感知质量评价分数对排序估计网络进行训练的步骤包括：

选择作为排序估计网络的卷积神经网络计算所述图像的排序分数；

根据感知质量评价指标计算的评价分数和所述排序分数，得到所述卷积神经网络的排序误差；