[发明专利]一种图像超分辨率的方法、装置、电子设备及存储介质

权利要求书

1.一种图像超分辨率的方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；

获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；

将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。

2.根据权利要求1所述的方法，其特征在于，所述第一超分辨率网络模型的训练过程，包括：

获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；

将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；

基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；

根据预设的第一损失函数的损失值，判断所述当前卷积神经网络是否收敛；如果是，则将当前卷积神经网络作为训练好的第一超分辨率网络模型；如果否，则调整当前卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。

3.根据权利要求2所述的方法，其特征在于，所述第二超分辨率网络模型的训练过程，包括：

将所述第一超分辨率网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；

将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；

将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；

根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；

根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；

将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；

将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；

根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；

根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为第二超分辨率网络模型。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一图像和所述第二图像进行融合后，获得目标图像的步骤，包括：

将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得目标图像；所述权重为预先设置的，或所述权重为基于第一图像的分辨率和第二图像的分辨率确定的。