[发明专利]基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质

说明书

本申请涉及一种基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质。所述方法包括：将获取的第一图像和第二图像输入训练后的图像跨域转换神经网络，得到转换图像。其中，在对图像跨域转换神经网络进行训练时，利用颜色统计损失函数以及自结构保持损失函数对其进行参数调整，使得通过训练后的图像跨域转换神经网络转换得到的转换图像，保持第一图像的内容特征的同时具有第二图像的风格特征从而实现高质量的多模态地图像跨域转换。

技术领域

本申请涉及图像跨域迁移技术领域，特别是涉及一种基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质。

背景技术

跨域图像转换的主要目标是学习在源域和目标域内映射图像的函数。转换图像的内容应与输入的源域图像的内容相似，且转换图像的风格应与目标域的一致。该方向在风格转换、图像编辑、超分辨率和彩色化等领域得到了广泛的应用，受到了深度学习和计算机视觉领域研究人员的广泛关注。

早期的跨域图像转换方法使用成对样本对条件深层神经网络模型或简单回归模型进行监督训练。这些方法在许多应用程序场景中都是不切实际的，因为它们需要成对的数据。在没有配对样本的情况下，许多方法都是在无监督的情况下，利用潜在码和周期一致性约束，成功地实现了图像的转换。尽管以上方法都取得了直观、逼真的转换结果，但它们只能生成与实际情况不符的单峰转换结果。在给定一幅源域图像的情况下，有许多对应的目标域图像满足跨域图像转换的要求。为了生成多模态转换结果，人们提出了许多方法，包括MUNIT 和DRIT。这些方法通常通过设计不同的网络框架和损失约束来分离图像的内容和风格，并将图像内容(来自源域)和参考图像样式(来自目标域)结合起来，形成不同的转换结果。不同的图像转换任务在源域和目标域之间的形状和纹理都有很大的变化。图像转换任务(如photo2vangogh和photo2portrait)的形状变化较小，而转换任务(如selfie2anime、apple2orange和cat2dog)的形状变化较大。虽然目前的多模态跨域图像转换方法已经在许多图像转换任务数据集上取得了令人满意的结果，但是它们很难同时考虑这两种类型的图像转换任务。这些方法根据源域和目标域之间形状和纹理的变化量显示性能差异。

但是在一些特殊领域的应用场景中，希望提供一个可行的技术方案转换结果能反映出导向图像的风格，内容结构与源域图像高度一致)，如电影后期制作和图像风格编辑，要求在图像转换过程中尽可能少地改变形状。对于这种形状变化很小或没有变化的跨域图像转换任务，现有的多模式跨域转换方法仍然存在以下问题：

1)源域图像的内容结构与转换结果图像的内容结构存在显著差异，无法满足应用需求。

2)转换结果图像与参考图像(来自目标域)的风格差异导致颜色模式的崩溃(只学习一些显著的颜色模式)，颜色内容不够丰富。

发明内容

基于此，有必要针对上述技术问题，提供一种能够使得转换图像保持自身结构且具有参考图像的颜色分布的基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质。

一种基于无监督神经网络的跨域图像转换方法，所述方法包括：

获取第一图像和第二图像；

将所述第一图像和第二图像输入训练后的图像跨域转换神经网络，得到转换图像；

对所述图像跨域转换神经网络进行训练时，利用颜色统计损失函数以及自结构保持损失函数对其进行参数调整，使得通过所述训练后的图像跨域转换神经网络转换得到的所述转换图像，保持所述第一图像的内容特征的同时具有所述第二图像的风格特征。

可选的，将所述第一图像和第二图像输入训练后的图像跨域转换神经网络后具体包括：所述训练后的图像跨域转换神经网络包括：内容编码模型、风格编码模型、AdaIN层模型以及解码器模型；

将所述第一图像输入内容编码模型，得到与所述第一图像相关的内容语义特征；