[发明专利]一种基于多维关系对齐的无监督视觉表征学习的图像分类方法

权利要求书

1.一种基于多维关系对齐的无监督视觉表征学习的图像分类方法，其特征在于，包括如下步骤：

步骤1，获取预训练图像数据，并对预训练图像数据进行图像增广，得到两个不同的增广视图；

步骤2，构建包括在线编码器和离线编码器的双分支网络，将所述两个不同的增广视图分别输入在线编码器和离线编码器得到两个不同的增广视图的特征；其中，将离线编码器以往迭代输出的特征作为负样本；

步骤3，定义两个不同的增广视图的特征与负样本的关系矩阵，并采用交叉对齐策略构建关系对齐损失；

步骤4，基于步骤3构建的关系对齐损失，设计多维关系对齐损失作为最终的预训练损失，并利用最终的预训练损失对步骤2构建的双分支网络进行无监督预训练；

步骤5，在经过无监督预训练后的双分支网络中添加一个分类器构成一个经过无监督预训练的图像分类网络；

步骤6，获取目标图像分类数据集，并将步骤5得到的图像分类网络在目标图像分类数据集上进行微调；

步骤7，利用步骤6微调后的图像分类网络执行图像分类任务。

2.根据权利要求1所述的基于多维关系对齐的无监督视觉表征学习的图像分类方法，其特征在于，步骤1中所述图像增广的方法包括随机裁剪、随机水平翻转、随机颜色抖动、随机灰度化以及高斯模糊。

3.根据权利要求1所述的基于多维关系对齐的无监督视觉表征学习的图像分类方法，其特征在于，步骤2中构建的包括在线编码器和离线编码器的双分支网络为：

所述在线编码器和离线编码器均由一个特征提取网络和一个多层感知机构成；其中，所述在线编码器使用梯度反传更新，而离线编码器是在线编码器的一个移动平均，即：

θ_off^t＝m*θ_off^t-1+(1-m)*θ_on^t

其中，θ_on^t表示在线编码器在第t步迭代时的网络参数，θ_off^t表示离线编码器在第t步迭代时的网络参数，m是一个超参数。

4.根据权利要求1所述的基于多维关系对齐的无监督视觉表征学习的图像分类方法，其特征在于，步骤2中采用一个队列来动态存储离线编码器以往迭代输出的特征作为负样本。