[发明专利]一种基于相似度约束的解耦表示学习算法

说明书

本发明公开了一种基于相似度约束的解耦表示学习算法，要解决的是现有InfoGAN在无监督的表示学习模型中的问题。本发明具体步骤如下：步骤一，准备数据集；步骤二，选择模型的结构：为了生成视觉效果更佳的图片，采用使用梯度惩罚的WGAN的结构；步骤三，对模型施加相似度约束：在使用梯度惩罚的WGAN结构的基础上，对生成图片的相似度和因子施加约束。本发明提出了相似度约束的生成对抗网络(SCGAN)，相比InfoGAN模型，本发明的结构简单，只需要在原始的生成对抗网络基础上增加相似度约束即可，同时SCGAN具有更高的模型鲁棒性，在处理过的数据集依然表现稳定，并且SCGAN也是无监督的表示学习模型，因此可以避免昂贵的标注工作，应用前景广阔。

技术领域

本发明涉及图片表示领域，具体是一种基于相似度约束的解耦表示学习算法。

背景技术

在概率统计理论中,生成模型是指能够从训练数据中估计出概率分布，并利用该分布随机生成新的观测数据的这样一类模型。要让一个优秀的机器学习算法试图去理解数据内在的规律，首先需要让该算法学会去创造，也就是说生成数据具有重要的意义。表示学习作为生成学习中一个热门的领域，受到学者的广泛关注。通过表示学习获得的高效的表示，可以辅助机器学习中的很多判别任务，例如分类、分割、检测等。解耦表示学习属于表示学习的一个子分支，目的是学习到能够控制图片的高级语义信息的因子。对于有监督的模型，例如CGAN(条件生成对抗网络)，显式提供了因子的标签，让因子学习去控制物品的类别。对于无监督的模型，例如InfoGAN(信息最大化生成对抗网络)，通过互信息来衡量因子和图片表示的关系，利用变分技术来最大化互信息的下界，进而让因子学习去控制图片潜在的表示，例如光照、色彩等。

条件生成模型需要提供标签进行表示学习，在绝大多数情况下，获取标签需要昂贵的代价，并且由于条件生成模型对需要学习的表示提供了标签，因此模型捕捉到的表示是有限的，例如在手写字符集上捕捉到数字类型。

在无监督的表示学习模型中，InfoGAN是比较经典的。该模型的思想是最大化因子和图片的互信息，直觉的解释是既然因子能控制图片的某种表示，那么因子必然和图片有着紧密的联系，而互信息正好可以用于衡量这种联系。但是InfoGAN的模型比较复杂，为了最大化互信息，InfoGAN使用变分技术，额外增加一个神经网络用于最大化这个下界。并且InfoGAN训练不太稳定，在一些处理过的数据集(随机平移过的手写字符数据集)上容易发生崩溃现象，人们也在进行相关方面的研究。

发明内容

本发明实施例的目的在于提供一种基于相似度约束的解耦表示学习算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种基于相似度约束的解耦表示学习算法，具体步骤如下：

步骤一，准备数据集；

步骤二，选择模型的结构：为了生成视觉效果更佳的图片，采用使用梯度惩罚的WGAN(基于瓦瑟斯坦距离的生成对抗网络)的结构，WGAN使用了Wasserstein距离来替代原始GAN(生成对抗网络)中的Jensen-Shannon(杰森香农)散度，从而能有效地避免模式崩塌的现象，生成模式更佳丰富的图片；其次，WGAN的训练过程比原始的GAN更加稳定，更容易收敛，为了让判别器评估Wasserstein距离，需要约束判别器在1-Lipschitzd(李普希茨)限制下，而1-Lipschitzd约束的本质是要求判别器输出的变化程度要小于输入的变化程度，有一些技术可以让判别器近似达到1-Lipschitzd限制，例如权重裁剪和梯度惩罚，在实际操作中，梯度惩罚的效果要远好于权重裁剪，因此这里优先选择梯度惩罚的技术；