[发明专利]零样本学习方法

说明书

本发明提供了一种零样本学习方法，通过从可见类别样本到不可见类别样本进行知识迁移，以识别从未见过的数据类别，主要包括以下步骤：获取训练特征数据集；搭建基于生成网络、噪声自编码器、回归网络以及判别网络的零样本学习模型；训练生成网络和噪声自编码器；训练判别网络；得到总目标函数，并进行迭代以达到算法优化的目的。本发明通过知识迁移，融合属性和词向量两种语义特征，在对抗机制下进行训练以最小化真实样本和生成样本的分布差异，并通过回归网络将视觉特征映射到语义特征，有效地解决了模型预测结果邻域迁移的问题，可以对难以标注的样例进行识别，同时减小识别成本。

技术领域

本发明涉及一种零样本学习方法，属于模式识别领域。

背景技术

随着深度学习的发展，计算机视觉与机器学习方法的性能都取得很大的提高，并且深度学习模型已经在图像分类领域取得了令人惊讶的成功，甚至可以与人类的识别能力相媲美。但是，人类在识别新颖物体方面具有天然的优势，这些物体人类从前只是听说过或是见过几次，也有可能是从未接触到的新物体。造成这两者区别的最根本的原因是深度模型依赖于完全监督学习。因此训练神经网络需要大量的经过标注的数据，实际上，由于自然界的物种数以万计，收集和注释视觉数据既麻烦又昂贵。由此产生了一种新的任务，通过将知识从可见类别样本转移到不可见类别样本，从而可以识别不可见类别样本，以解决图像标注的问题。

零样本学习目前受到了越来越多的关注，在零样本学习中，通常假设可见类与不可见类集合是不相交的。在特征空间中有一部分样本是有标注的，这些样本称为可见类别样本，并且只有可见类别样本的视觉实例用来训练模型。在特征空间还有一部分未被标注的样本实例，这些样本类别称为不可见类别样本。特征空间是样本经过神经网络提取出的向量组成，而且每一个样本属于一个类别。为了建立可见类别样本与不可见类别样本的联系，通常会为零样本学习引入语义特征。在零样本学习中，属性是最为常用的语义特征，但是为每种语义属性手动标注视觉特征，是一件既费时又费力的发明。而自然语言处理技术利用了一些可替换属性的语义特征(例如词向量，glove)，直接从维基百科文章中获取文本信息，但是这类语义特征由于获取粗糙且不可见，所以性能相比属性特征较差。

有鉴于此，确有必要提出一种零样本学习方法，以解决上述问题。

发明内容

本发明的目的在于提供一种零样本学习方法，用以对难以标注的样例进行识别并减小识别成本。

为实现上述目的，本发明提供了一种零样本学习方法，用于从可见类别样本到不可见类别样本进行知识迁移，以识别从未见过的数据类别，主要包括以下步骤：

步骤1、获取训练特征数据集，所述训练特征数据集包括可见类别样本，其中可见类别样本包括标签、真实视觉特征和语义特征；

步骤2、搭建基于生成网络、噪声自编码器、回归网络以及判别网络的零样本学习模型，并对零样本学习模型中的生成网络、噪声自编码器、回归网络以及判别网络进行初始化；

步骤3、训练生成网络和噪声自编码器，以分别生成第一视觉特征和第二视觉特征，并将第一视觉特征和第二视觉特征根据不同权重融合成伪视觉特征；

步骤4、训练判别网络，以对所述伪视觉特征和所述真实视觉特征进行分类，并通过对抗机制优化生成网络和判别网络；

步骤5、训练回归网络，将所述伪视觉特征作为输入，以将伪视觉特征映射到语义特征；

步骤6、将生成网络、噪声自编码器、回归网络和判别网络的损失函数相加，以得到总目标函数，并进行迭代以达到算法优化的目的。

可选的，步骤1中，所述标签包括数量标签和类别标签，所述语义特征包括词向量和属性特征。

可选的，步骤2中，所述生成网络、噪声自编码器、回归网络和判别网络之间使用前馈神经网络进行数据传递。