[发明专利]视觉分辨率增强的生成方法、系统、装置及存储介质

说明书

本发明公开了一种视觉分辨率增强的生成方法、系统、装置及存储介质，采用包含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本的训练样本、预设损失函数建立的单幅图像训练模型对获取的待处理的低分辨率单幅图像进行分辨率处理能够准确和高效的实现对由低分辨率单幅图像恢复为高分辨率单幅图像的效果，能够基于特定的图像描述信息先验获取清晰度更高的单幅图像，并恢复单幅图像的高频信息，以使输出的高分辨率单幅图像包含更多的纹理结构细节，提高单幅图像的清晰度，本发明可广泛的应用于图像处理技术领域。

技术领域

本发明属于图像处理技术领域，尤其涉及视觉分辨率增强的生成方法、系统、装置及存储介质。

背景技术

近些年来，由于数字图像采集设备体积、重量以及成本的限制，采集到的图像分辨率较低，这极大地降低了图像的清晰度。同时，人们对于高清晰度图像的需求日益增加，如何提升图像和视频质量成为了日益重要的问题。图像超分辨率旨在对低分辨率图像进行修复，使图像包含更多的细节信息，提高图像的清晰度。这项技术有着重要的实用意义，例如在安全监控领域，监控视频采集设备由于成本限制，获取到的是缺乏有效信息的视频帧，而安全监控极大依赖于信息明确的高分辨率图像。采用图像超分辨率技术，能够增加视频帧的细节。这些信息的补充能够为打击犯罪提供有效证据。目前，将图像超分辨率作为前期预处理技术，能够有效地提升安全领域中的目标检测、人脸识别及异常预警等任务的精度。

以前图像超分辨率使用的的方法是基于插值或者基于重建的方法。基于插值方式的图像超分辨率是超分辨率领域中最先应用的算法，这类算法基于固定的多项式计算模式，由已有的像素值推算出插值位置的像素值，例如双线性插值、双立方插值和Lanczos缩放。基于重建的方法采用严格的先验知识作为约束，在约束空间内找到合适的重建函数，从而重建出具有细节信息的高分辨率图像。这些算法通常会陷入图像过于平滑的问题，不能很好地恢复图像的纹理细节。

近年来，随着深度学习以及卷积神经网络的发展，图像超分辨率技术取得了巨大的突破。卷积神经网络利用外部数据集学习出低分辨率图像与高分辨率图像之间的映射模型，并利用学习到的映射模型从低分辨率图像中重建出高分辨率图像。当输入的低分辨率图像缺乏有效信息时，神经网络难以全面地学习到该映射关系。使用这种学习不全面的映射模型，会导致重建图像的模糊现象严重，并难以获取图像中的内容信息。

发明内容

为了解决图像超分辨率任务中，低分辨率图像缺乏有效信息的问题，本发明提供了一种更加精确和高效的视觉分辨率增强的生成方法、系统、装置及存储介质，可以结合图像描述信息，构建更深层次的网络，使其能够基于特定的图像描述信息先验获取清晰度高的单幅图像。

本发明采用以下技术方案：

第一方面，提供了一种视觉分辨率增强的生成方法，包括：

获取待处理的低分辨率单幅图像以及其对应的图像描述信息；

通过单幅图像超分辨率模型对所述低分辨率单幅图像以及其对应的图像描述信息进行处理，输出高分辨率单幅图像；

所述单幅图像超分辨率模型的训练方法，包括：

采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本；

根据采集的训练样本，基于预设损失函数和高分辨率单幅图像样本建立单幅图像超分辨率模型。

可选地，所述采集训练样本，所述训练样本含高分辨率单幅图像样本、低分辨率单幅图像样本和其对应的图像描述信息样本，包括：

采用公开的大规模CUB鸟类图像数据集，得到高分辨率单幅图像样本并备份；可选地，还可以采用其他目标(例如，非鸟类)的图像数据集，以得到高分辨率单幅图像样本并备份；