[发明专利]一种图像超分辨率的方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种图像超分辨率方法、装置、电子设备及存储介质，方法包括：将待处理图像输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；第一超分辨率网络模型为训练好的卷积神经网络；第二超分辨率网络模型为训练好的生成式对抗网络中包含的生成网络；获取第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像；将第一图像和第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。可见，应用本发明实施例，目标图像兼顾了第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像的优点，获得的目标图像清晰度较高。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率的方法、装置、电子设备及存储介质。

背景技术

目前，图像采集设备受环境影响以及成本控制等原因，可能采集到很多低分辨率图像，清晰度不高，用户的视觉体验较差。

为了提高图像的清晰度，会采用图像超分辨率的方法，对分辨率较低的待处理图像进行处理，以获得分辨率大于该待处理图像分辨率的目标图像。

相关技术中，图像超分辨率的方法主要是对待处理图像进行插值处理以获得分辨率大于该待处理图像分辨率的目标图像，例如：最近邻插值、线性插值和三次样条插值等方法对待处理图像进行处理，获得分辨率大于该待处理图像分辨率的目标图像。

然而，采用上述图像超分辨率方法，获得的目标图像清晰度仍有待提高。

发明内容

本发明实施例的目的在于提供一种图像超分辨率的方法、装置、电子设备及存储介质，以获得清晰度更高的目标图像。具体技术方案如下：

第一方面，本发明实施例提供了一种图像超分辨率的方法，所述方法包括：

获取待处理图像；

将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；

获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；

将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。

可选的，所述第一超分辨率网络模型的训练过程，包括：

获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；

将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；

基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；

根据预设的第一损失函数的损失值，判断所述当前卷积神经网络是否收敛；如果是，则将当前卷积神经网络作为训练好的第一超分辨率网络模型；如果否，则调整当前卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。

可选的，所述第二超分辨率网络模型的训练过程，包括：