[发明专利]基于特征优化的混合广义零样本学习方法

说明书

基于特征优化的混合广义零样本学习方法，将真实样本和生成模型产生的生成样本映射到一个嵌入空间中，在嵌入空间中执行最终的广义零样本学习分类。另外，为了改进可见类样本和未见类样本的视觉特征，该方法采用了一个特征优化模块，该模块将视觉→语义映射集成到混合框架中，引入了语义周期一致性损失与对比损失，来明确地鼓励类内紧凑性和类间可分性，并指导模型学习语义相关和更具鉴别性的视觉特征。本发明能够为不可见类生成具有鉴别性的视觉特征，弥补了样本缺失以及生成模型产生的生成样本缺乏鉴别性的问题，并且能够更加紧密地联系视觉特征和语义特征，使得模型更具鲁棒性，分类精度明显提高。

技术领域

本发明属于零样本图像分类技术领域，具体涉及一种基于特征优化的混合广义零样本学习方法。

背景技术

深度学习已经在各个领域取得了广泛的应用，例如在图像分类问题下，其准确率目前可以达到不错的成绩，但其高准确率建立在有监督的基础上。大多数深度模型是通过大量有标签的训练样本进行学习，侧重于对已经在训练过程中出现过的标签类别样本进行分类。然而，现实的对象类别通常遵循长尾分布，其中一些类别有丰富的训练样本，而其他大部分类别只有很少甚至没有可用的训练样本。当需要模型对这些训练样本很少甚至没有训练样本的类别进行分类时，原有训练方法不再适用。另外，为数据进行标注的成本非常大。所以零样本学习的研究具有重要的意义。

目前零样本学习方法主要分为两大类：基于空间嵌入的方法和基于生成模型的方法。基于空间嵌入的方法可以分为三类，第一类为将视觉特征嵌入到语义空间，如SAE方法(Elyor Kodirov,Tao Xiang,and Shaogang Gong.Semantic autoencoder for zero-shotlearning.In CVPR,2017)，第二类为将语义特征嵌入到视觉空间，如UVDS方法(Y.Long,L.Liu,L.Shao,F.Shen,G.Ding,and J.Han.From zero-shot learning to conventionalsupervised classification:Unseen visual data synthesis.In CVPR,2017)，第三类为将视觉特征和语义特征嵌入到公共空间，如SJE方法(ZeynepAkata,Scott Reed,DanielWalter,Honglak Lee,and Bernt Schiele.Evaluation ofoutput embeddings forfinegrained image classification.In CVPR,2015)。基于空间嵌入的方法的主要目标是使用深度网络学习投影函数将视觉特征和语义特征映射到一个嵌入空间。在广义零样本学习设置中，基于空间嵌入的方法由于训练阶段缺乏未知类别的训练样本，测试时模型会倾向于将未知类别识别成已知类别，导致准确率降低。因此，基于生成模型的方法被提出，生成模型可以通过语义特征，如属性，为未知类别生成视觉特征用于训练，弥补了未知类训练数据缺失的问题。目前生成模型主要是基于变分自编码器和生成对抗网络的，如LisGAN(J.Li,M.Jing,K.Lu,Z.Ding,L.Zhu,and Z.Huang,Leveraging the invariant side ofgenerative zero-shot learning.In CVPR,2019)。然而，生成的特征鉴别性较低，对于后续的分类是次优的。

发明内容

为了解决上述问题，本发明提供了一种基于特征优化的混合广义零样本学习方法，该方法将生成模型与嵌入模型集成，并采用了一个特征优化模块，使模型能够生成语义相关和更具鉴别性的视觉特征。最终，该方法将真实样本和生成模型产生的生成样本映射到一个嵌入空间中，在嵌入空间中执行最终的广义零样本学习分类。

本发明是一种基于特征优化的混合广义零样本学习方法，该零样本学习方法具体包括如下步骤：

S1，模型训练阶段，训练集由可见类样本组成。随机在训练集中选择部分样本输入到模型中进行训练。具体输入包括：可见类真实的视觉特征x以及相对应的属性特征a；