[发明专利]一种零样本设置下的无监督图像转换方法

说明书

一种零样本设置下的无监督图像转换方法，包括施加属性‑视觉关联性约束以及利用未见属性扩展属性空间，其中，施加属性‑视觉关联性约束和利用未见属性扩展属性空间是同步进行的。通过施加属性‑视觉关联性约束和利用未见属性扩展属性空间，促使模型能够充分利用到类别的属性特征，从而实现零样本下的无监督图像转换。

技术领域

本发明涉及图像生成与图像转换领域，具体地涉及一种零样本设置下的无监督图像转换方法。

背景技术

近年来，随着生成对抗网络的发展，生成模型越来越受到人们的关注。一方面，基于生成对抗网络的生成模型显示出了惊艳的生成效果，这些生成图像既具有着高分辨率，又在视觉上达到了足以以假乱真的程度；另一方面，正如著名的物理学家费曼所说，“只有当我能够创造它，我才是真正的理解了它”。尽管近年来的机器学习模型在图像分类等任务上表现优异，但是这些应用的成功并不能说明我们是真正理解了图像，真正实现了智能。能够生成图像，对于进一步的理解图像来说意义重大。

图像转换(image-to-image translation)是生成模型中的一个分支，它隶属于条件生成模型，并以输入图像为条件输入。它研究的是如何将图像从一个域转换到另一个域中相应的图像。例如，将白天拍摄的图像转换为夜景，同时保持场景不变。这是一个具有挑战性的任务，首先，模型的输出应既具有真实性，又拥有目标域的特征，隶属于其被转换到的目标域；其次，模型应使输出保有输入的个体特性，不应使转换后得到的是完全的另一张图片。第二点中的问题也被称为模式坍塌(mode collapse)，即输出坍缩到了少数的几个模式中，即使对网络提供不同的输入，网络也输出同样的单一结果。

上述问题在有监督的情况下可以很好地被解决。当拥有成对的数据集时(如同一场景的白天图像和黑夜图像)，可以通过约束图像在从源域转换到目标域后，与其相对应的真值图像接近。然而，在现实中的许多场景中，往往无法以较低的成本获得成对样本，甚至不存在成对样本。在这种情况下，如何无监督地训练图像转换模型是一个难点。此外，当某些类别样本数量不足，甚至完全没有样本时，图像转换的模式坍塌问题尤为严重。总而言之，在零样本设置下，无监督的图像转换是一个具有挑战性的问题。

发明内容

本发明提供了一种零样本设置下的无监督图像转换方法，实现了实现零样本下的无监督图像转换。

本发明的技术方案如下：

本发明的零样本设置下的无监督图像转换方法，包括施加属性-视觉关联性约束以及利用未见属性扩展属性空间，其中，施加属性-视觉关联性约束和利用未见属性扩展属性空间是同步进行的。

优选的，在上述零样本设置下的无监督图像转换方法中，施加属性-视觉关联性约束包括以下步骤：从属性空间采样两个已见的类别属性a_m和a_n，并计算两者关联性根据风格迁移的自适应实例归一化(AdaIN)方法，计算由两个已见的类别属性a_m和a_n确定的视觉空间的视觉特征w_m、w_n，并计算两者关联性以及施加关联性约束：对两个已见的类别属性a_m和a_n的关联性和由两个已见的类别属性a_m和a_n确定的视觉特征w_m、w_n的关联性施加约束正则项L_reg＝||s(a_m，a_n)-s(w_m，w_n)||₂。

优选的，在上述零样本设置下的无监督图像转换方法中，利用未见属性扩展属性空间，包括如下步骤：采样未见类别属性a_u和输入图像x_i，利用生成器生成图像x_t：通过损失函数约束图像x_t使其具有未见类别属性a_u的特征；以及利用判别器进行属性回归，扩展属性空间。