[发明专利]一种基于转换网络与自监督的小样本分类方法

权利要求书

1.一种加入转换网络与自监督的小样本分类方法，其特征在于，包括以下步骤：

S1、获取用于训练特征提取器与转换网络模块的图像数据集；

S2、将图像数据集送入网络，使用特征增强方法获得具有区分性和多样性的特征嵌入，并结合自监督学习训练特征提取器与转换网络模块；

S3、将训练完成的模型用于小样本分类任务。

2.如权利要求1所述的加入转换网络与自监督的小样本分类方法，其特征在于，步骤S1中，给定基类其中n为数据集中的图像总数，x_i和y_i分别表示第i张图像及其对应的类标签，y_i∈{1，...，C}，C表示类别总数，每一类都包含多张图像。

3.如权利要求2所述的加入转换网络与自监督的小样本分类方法，其特征在于，步骤S2具体包括：

S21、在训练时采用批量处理的方式，首先从图像数据集中随机采样一个批量的图像样本其中批量大小N_bs预先给定；

S22、将B中的批量图像样本送入由骨干网络和分类器组成的模型，得到它们的预测概率；使用交叉熵损失的模型的优化目标是

其中，f和g分别表示特征提取器和分类器，Θ是参数集，L^ce表示CE损失，R表示参数集的正则化项，λ是超参数；

S23、为了保证合成特征嵌入的区分性，把它们送入原始视觉特征的分类网络，让预测类别与原始视觉特征属于的类别相一致；合成特征嵌入的分类是

其中，t是额外的合成特征嵌入个数，c_j表示第j个高斯分布噪声的特征，T表示转换网络模块，y_ij是合成特征T(f(x_i)，c_j)的类标签，它与原始视觉特征f(x_i)的类标签相同，Θ表示整个模型的参数集；

S24、为了保证合成特征嵌入的多样性，让合成了不同噪声的特征被分到不同的子类，将原始视觉特征与合成特征嵌入送到一个与上文分类器不同的分类器，输出为不同的类别

其中，l_ij是根据噪声的不同分布人工注释的自监督类标签，h表示自监督的分类器；

S25、在标签空间中使用真实视觉特征正则化合成特征嵌入，来使得合成特征嵌入保留真实视觉特征的类间关系

其中，KL表示Kullback Leibler散度，x_ij是类别y_i中的真实样本；f(x_ij)作为合成特征嵌入T(f(x_i)，c_j)的监督器，不进行优化；

S26、总的优化目标为

L_all＝L₁+L₂+αL₃+βL₄

其中，α和β是超参数；

S27、根据得到的总的损失函数，使用带动量的随机梯度下降优化器，以及反向传播算法训练深度神经网络；

S28、重复步骤S21至S27直至模型收敛。

4.如权利要求1-3任一项所述的加入转换网络与自监督的小样本分类方法，其特征在于，步骤S3具体包括：

S31、给定一个C-way K-shot分类任务，支持集是S。对于每个支持样本x_u，先通过特征提取器和转换网络模块得到最终的特征表示

S32、计算各个类别的视觉原型

其中，c表示某个类别，S_c和|S_c|是类别c的支持集和支持集中样本数量；

S33、对于查询集中的测试样本x_u，它属于类别c的概率是

其中d是相似性度量函数，本发明中使用的是余弦相似性函数。最终，根据测试样本属于N个类别的概率大小来预测到底属于哪个类别，概率最大的为预测类别。