[发明专利]一种基于数据增广的零样本分类方法

权利要求书

1.一种基于数据增广的零样本分类方法，其特征在于，包括以下步骤：

步骤一：利用卷积神经网络对训练图片进行视觉特征的提取，利用循环神经网络对所有类别的类别名进行类别语义特征的提取；

步骤二：将步骤一中提取得到的视觉特征和语义特征分别通过不同的多层感知器映射到相同维度的空间，保证视觉特征和语义特征映射后的特征维度相同；

步骤三：将步骤二中得到的一个训练图片样本的映射视觉特征复制可见类的类别份数后，将每一份与一个步骤二中得到的可见类的映射语义特征拼接，将拼接的特征作为一个整体输入到关系网络(relationNet)中进行类别置信度预测，根据该训练样本的标注类别计算损失1；

步骤四：将同一批次训练的步骤二得到的映射视觉特征随机组合，将得到的组合特征复制可见类的类别份数后，将每一份复制结果分别与一个可见类的映射语义特征拼接，将拼接后的特征作为一个整体输入到关系网络中进行类别置信度预测，根据组合特征的组合类别标签计算损失2；

步骤五：将由步骤二得到的映射视觉特征与未见类的映射类别语义特征进行随机组合，得到视觉与语义的组合特征，将组合特征复制所有类的类别份数后，将每一份与一个类的映射语义特征拼接，将拼接的特征作为一个整体输入到关系网络中进行类别置信度预测，根据组合特征的组合类别标签计算损失3；

步骤六：将同一训练批次的映射视觉特征拼接对应的映射语义特征，将拼接特征输入到关系网络中输出可见类得分，将结果复制一份，对复制的结果随机打乱得到随机可见类得分；

步骤七：将同一训练批次的映射视觉特征拼接未见类的映射语义特征后，输入到关系网络中，得到未见类得分；

步骤八：根据步骤六和步骤七中得到的可见类得分、随机可见类得分和未见类得分这3个得分结果计算三元组损失(triplet loss)；

步骤九：将步骤三、步骤四、步骤五和步骤八中的损失1、损失2、损失3和三元组损失相加得到训练阶段模型的总损失；

步骤十：用步骤九中得到的总损失训练步骤三中的关系网络和步骤二中的多层感知器；

步骤十一：在预测阶段，将待测图片与所有类别的语义特征进行拼接，输入到训练完成的关系网络中，输出每一类的得分，将得分最高的类别作为待测图片的预测类别。

2.根据权利要求1所述的一种基于数据增广的零样本分类方法，其特征在于，所述步骤一中，图片视觉特征的维度为2048维，循环卷积神经对类别名提取的类别语义特征为1024维。

3.根据权利要求1所述的一种基于数据增广的零样本分类方法，其特征在于，所述步骤二中，通过两个由全连接层、ReLU激活函数、全连接层、LeakyReLU激活函数组成的四层多层感知器分别将2048维的视觉特征和1024维的语义特征映射到2048维的同维空间。

4.根据权利要求1所述的一种基于数据增广的零样本分类方法，其特征在于，所述步骤三中的关系网络(relationNet)由四层网络组成，分别是全连接层、LeakyReLU激活函数、全连接层和Sigmoid激活函数组成；关系网络的输入为4056维特征，输出为一个介于0至1的得分。

5.根据权利要求1所述的一种基于数据增广的零样本分类方法，其特征在于，所述步骤三中，损失1的计算公式如下：

其中N和S分别表示一个训练批次中的样本数和可见类的数目，y是类别指示数，当样本i的标注类别和j为同一类时y等于1，否则y等于0；v表示关系网络输入步骤三中的拼接特征后的输出。

6.根据权利要求1所述的一种基于数据增广的零样本分类方法，其特征在于，所述步骤四中随机组合同一训练批次的视觉特征和组合特征的组合类别标签的计算公式如下：

其中m和n分别表示两个不同的样本编号，x和y分别表示视觉特征和类别标签。

7.根据权利要求1所述的一种基于数据增广的零样本分类方法，其特征在于，所述步骤四中损失2的计算公式如下：