[发明专利]基于自适应权重的类间关系的半监督多标签图像分类方法

权利要求书

1.一种基于自适应权重的类间关系的半监督多标签图像分类方法，其特征在于，包括以下步骤：

(1)图像预处理：对预先获取的图像进行归一化操作，构建包括有监督数据和无监督数据的半监督分类数据集；

(2)构建权重计算和预测融合模型；所述模型包括原始分类器、类相关分类器以及权重计算模块组成，采用主流的基于类间共现关系的多标签分类模型中的原始分类器和类相关分类器，权重计算模块用多层感知机实现，加入对分类器和权重计算模块的各个约束损失函数；

(3)训练分类器以及权重计算模块：使用步骤1中经过预处理的图像数据集的有监督数据对步骤2中的两个图像分类器和权重计算模块分别进行训练，之后根据权重计算模块的值使得两个分类器的预测相互监督，并基于权重计算对无监督数据和有监督数据进行半监督训练；

(4)训练好的权重计算和预测融合模型预测图像分类结果：使用步骤3中训练好的模型对待分类目标图像进行测试，得到最终的分类结果。

2.根据权利要求1所述的基于自适应权重的类间关系的半监督多标签图像分类方法，其特征在于，步骤(1)所述半监督分类数据集为：

在半监督分类任务中，给定训练集有监督图像样本无监督图像样本其中是第i张有监督图像，是对应图像的分类标签，是第i张无监督图像且没有标签，n_l是有监督图像样本的个数，n_u是有监督图像样本的个数；给定无标签的测试集图像样本其中是测试集的第i张图像，n_t是测试集图像样本个数，处理任务是预测测试集图像的标签

3.根据权利要求1所述的基于自适应权重的类间关系的半监督多标签图像分类方法，其特征在于，所述步骤(2)实现过程如下：

(21)采用主流的类间关系相关的多标签图像分类器以及由多层感知机实现的权重计算模块，权重计算单元的输出如下所示：

α_i(xⁱ)＝A(C_i(F(xⁱ))，C_r(F(xⁱ))，F(xⁱ))

其中，F为特征提取器，C_i为原始分类器，C_r为类相关分类器，A为权重计算模块，α_i(xⁱ)为图像xⁱ基于权重计算模块的权重计算结果；基于此权重，最终分类器预测如下所示：

C(xⁱ)＝α_i(xⁱ)*C_r(F(xⁱ))+(1-α_i(xⁱ))C_i(F(xⁱ))

其中，C(xⁱ)表示融合两个分类器后，模型对样本xⁱ的最终分类预测结果；对于有监督数据训练分类器的预测与真实值之间的损失如下所示：

其中，l_ml-sm是多标签软边际损失函数(MultiLabelSoftMarginLoss)，两个分类器和权重预测模块共同参与训练；

(22)基于类间关系权重的损失为：

其中，H是判定括号内公式是否成立的布尔值函数，τ为是否计算损失的阈值通常设为0.5，l_MSE表示均方误差来约束原始分类器和类相关分类器对样本xⁱ预测的一致性；

(23)分别采用基于类间关系权重的自学习伪标签以及一致性约束用于为无监督数据添加监督信息并提高仅基于有监督数据学习到的模型的泛化性，计算样本的伪标签，基于权重的伪标签定义为：

其中，EMA表示对同一样本不同时刻多次预测取加权滑动平均值，伪标签计算根据权重的倾向选用两个预测之一，伪标签损失的公式为：

其中，τ_ps为参与计算伪标签损失的阈值，仅在高于一定置信度时参与损失计算；

在两个分类器的预测，融合权重之间做一致性损失，公式为：

其中，和为样本的两个数据增强数据。