[发明专利]一种基于对比学习的零样本图像分类网络及深度学习方法

权利要求书

1.一种基于对比学习的零样本图像分类网络及深度学习方法，其特征在于步骤如下：

步骤1：将图像x输入残差网络101特征提取网络得到视觉特征f(x)∈R^H*W*C，其中H、W和C分别代表特征的高度、宽度以及通道数；

步骤2：将视觉特征f(x)输入到由上下两个分支特征构成的特征处理网络，所述特征处理网络的上分支以原型模块构成，下分支以全局平均池化模块构成；

输入视觉特征f(x)经过原型模块输出图像样本预测的类别属性得到正样本的语义属性预测，以及负样本的语义属性预测；

视觉特征f(x)经过全局平均池化层得到全局特征g(x)，全局特征通过线性层映射到类属性空间，将映射后的全局特征与数据集包含的所有类属性进行点积计算得到类嵌入，类嵌入指利用神经网络将高维表示空间，映射到一个低维分布式空间；

其中特征处理网络中以原型模块构成的上分支，输出图像样本预测的类别属性得到正样本的语义属性预测，以及负样本的语义属性预测；

步骤3：对于每一个属性，进行局部特征f_i,j(X)与属性原型p_a的内积运算，局部特征f_i,j(X)表示在f(x)空间位置(i，j)的特征，获取到每一个属性的相似度图M^a∈R^H*W,通过最大化第a个属性的相似度图的值，获取到输入图像的第a个属性的属性预测得分；

步骤4：采用分类网络进行分类

以属性预测得分最高的类嵌入作为输入图像的类别

其中g(x)^T为g(x)的转置矩阵，为测试类对应的真值类属性向量，为预测类别，V表示映射矩阵；

当是已知类时，函数I＝1,当是未知类是，I＝0，上述公式演变为：

已知类表示在推理阶段出现得类别。

2.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征在于：所述特征处理网络中的上分支以原型模块构成，原型模块以两层全连接层串联而成。

3.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征在于：所述下分支以全局平均池化模块构成，全局平均池化模块由通道平均池化构成，通道平均池化指以该通道的算术平均值表征该通道特征。

4.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征在于：所述分类网络由残差网络101特征提取网络和特征处理网络串联而成。

5.根据权利要求1所述基于对比学习的零样本图像分类网络及深度学习方法，其特征在于：所述原型模块输入卷积神经网络提取到的视觉特征,输出图像样本预测的类别属性。最大化第a个属性的相似度图的值，获取到第a个属性的属性预测得分。

6.根据权利要求1或5所述基于对比学习的零样本图像分类网络及深度学习方法，其特征在于：所述原型模块的真值类属性为50个，相似性图采用向量内积方式计算，每类真值类属性维度为256维。