[发明专利]图像转换网络训练方法、装置、计算机设备及存储介质

说明书

本申请提供了图像转换网络训练方法、装置、计算机设备及存储介质，图像转换网络训练方法包括：首先通过第一图像的下采样图像对第一网络进行训练，得到第二图像；随后通过第一图像对第二网络进行训练，得到与第二图像的上采样图像内容近似的第三图像。通过判别网络判断第三图像及参考图像的特征信息差值是否低于阈值，若不低于阈值，将该差值反馈给第二网络，以调整第二网络的网络参数，重复上述步骤，直到第二网络输出的图像与参考图像的特征信息差值低于阈值。通过构建一个全新的图像转换网络来对高分辨图像进行处理，不依赖于前一网络，具有很好的通用性，同时也解决了现有的通用性较好的图像转换方法无法对高分辨图像进行转换的技术问题。

技术领域

本申请涉及图像转换领域，具体而言，涉及图像转换网络训练方法、装置、计算机设备及存储介质。

背景技术

近几年随着深度学习的发展，图像转换领域涌现出许多图像转换方法，尤其以pix2pix以及cyclegan系列方法为代表，其中pix2pix属于有配对数据的监督学习方法，cyclegan属于无配对数据的无监督学习方法。

然而，尽管上述方法具有较好的通用性，但它们只适用于低分辨率图像转换，比如，pix2pix、cyclegan均最多只能处理256x256分辨率的图像，在高分辨率上往往处理图像的效果不佳。

为此，学术界提出了许多改进方法，其中最重要的一种方法是分阶段训练，即先在低分辨率上训练收敛，再通过更改网络结构添加一些额外的层以处理更高分辨率(比如pix2pixHD)。分阶段训练方法虽然有效，但是由于其依赖于对前一阶段网络结构的更改，所以实现起来较为复杂，通用性也不是很好。

发明内容

为了解决上述问题，本申请实施例提供图像转换网络训练方法、装置、计算机设备及存储介质。

第一方面，本申请实施例提供一种图像转换网络训练方法，应用于计算机设备，所述计算机设备中预先存储有参考图像，所述图像转换网络包括第一网络、第二网络及判别网络，所述方法包括：

将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像；

将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像；

将所述第三图像及所述参考图像输入到所述判别网络中判别所述第三图像与所述参考图像的特征信息差值是否低于第一阈值，在所述特征信息差值不低于第一阈值时，将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整；

再次将第一图像输入到调整后的第二网络中，重复上述步骤，直到特征信息差值小于第一阈值，判定图像转换网络训练完成。

可选地，在本实施例中，所述将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整，包括：

根据接收到的所述第三图像与所述参考图像的特征信息差值对第二网络的网络参数进行调整，以提升第二网络输出的第三图像的清晰度。

可选地，在本实施例中，在将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像之前，所述方法还包括：

对所述第一图像进行下采样操作，以得到所述第一图像的下采样图像。

可选地，在本实施例中，在将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像之前，所述方法还包括：

对所述第二图像进行上采样操作，以得到所述第二图像的上采样图像。