[发明专利]一种基于数据增广的零样本分类方法

说明书

本发明公开了一种基于数据增广的零样本分类方法。该方法包括如下步骤：首先组合视觉特征，将得到的视觉组合特征输入到关系网络中，输出的结果在可见类范围内打分，达到可见类数据增广的目的；然后组合视觉特征与未见类语义特征，将得到的组合特征输入到关系网络中，输出的结果在全部的类的范围内打分，达到未见类数据增广的目的；最后，通过整合视觉特征、随机打乱的视觉特征和未见类语义特征这三种特征匹配得到的三元组，以数据增广的方式提升零样本模型区分未见类和可见类的能力。本方法通过三种适用于零样本分类方法的数据增广方式，帮助提高零样本图像分类方法的准确率。

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于数据增广的零样本分类方法。

背景技术

大量公开数据集的出现是计算机视觉领域迅速发展的原因之一。但对大量标注数据的依赖也正妨碍着深度学习模型在现实生活中被广泛应用。大部分的计算机视觉模型需要高质量标注的大型数据集的支撑才能在各自的任务中有不错的表现。但是这种类型的数据集是需要花费大量的时间和经费去收集、清洗、标注和校对的，一般个人和小型企业很难为了一个问题而去建立这类高质量的数据集。更有甚者，比如物体检测和语义分割等需要更加精细标注的任务，在收集这类任务的训练数据集过程中会花费更长的时间和更多的人力物力。

为了降低计算机视觉模型对数据的依赖，计算机视觉研究人员提出了众多的方式。一方面，他们通过网络爬虫等方法获取互联网上随处可见的庞大的无标注、弱标注和不精确标注数据，通过增加非人工标注数据的方式以达到扩充训练数据集的目的，帮助模型提升能力。另一方面，他们提出小样本学习、零样本学习等学习方法，仅仅利用少量的标注训练数据达到与大型数据集相同的实验效果。其中零样本学习作为小样本学习的极端情况，未见类的标注数据不会出现在训练阶段。这导致普通的深度学习模型在训练阶段只接触过可见类的标注数据，在测试阶段无法识别未见类的测试样本。针对零样本问题，需要采用不同于传统的深度学习方法的模型。

目前零样本学习主要分成两大类，嵌入式方法和生成式方法。嵌入式方法通过将视觉特征和语义特征嵌入到同一空间中，训练阶段学习可见类视觉特征和语义特征之间的映射关系，在使用阶段迁移学习到的映射关系至未见类的识别中即可实现零样本图像分类。而生成式则是通过人工生成未见类的视觉特征的方式将零样本问题转化成普通的全监督问题，从而解决模型在训练阶段没有接触过未见类的问题。嵌入式方法和生成式方法各有优缺点。本方法针对嵌入式方法中的缺点对嵌入式方法进行优化和改进。嵌入式方法的优点是训练速度快，便于增加未见类的数目，可以实现端到端的预测。它的缺点则是无法利用未见类的语义信息，预测结果偏向于可见类，导致预测结果的正确率较生成式方法低。

发明内容

(一)要解决的技术问题

解决当前嵌入式方法的缺点是无法利用未见类的语义信息，预测结果偏向于可见类，导致预测结果的正确率较生成式方法低的问题，提供了一种基于数据增广的零样本分类方法。

(二)技术方案

本发明的目的是通过以下技术方案来实现的：一种基于数据增广的零样本分类方法，包括以下步骤：

步骤一：利用卷积神经网络对训练图片进行视觉特征的提取，利用循环神经网络对所有类别的类别名进行类别语义特征的提取；

步骤二：将步骤一中提取得到的视觉特征和语义特征分别通过不同的多层感知器映射到相同维度的空间，保证视觉特征和语义特征映射后的特征维度相同；

步骤三：将步骤二中得到的一个训练图片样本的映射视觉特征复制可见类的类别份数后，将每一份与一个步骤二中得到的可见类的映射语义特征拼接，将拼接的特征作为一个整体输入到关系网络(relationNet)中进行类别置信度预测，根据该训练样本的标注类别计算损失1；