[发明专利]一种数据有限和不平衡的语义软标签图像识别方法及装置

权利要求书

1.一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，包括下述步骤：

构建语义软标签图像识别模型；所述语义软标签图像识别模型包括特征提取器及词嵌入模块；

在大规模文本数据集上对自监督网络进行预训练，获得词嵌入模块；

利用词嵌入模块，对训练数据集中的每个类别，生成对应的软标签；

将训练数据集输入特征提取器中获取特征向量，使用对应软标签来指导训练，得到训练好的语义软标签图像识别模型；

将测试数据集输入训练好的语义软标签图像识别模型中进行测试，获得图像识别结果。

2.根据权利要求1所述的一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，所述词嵌入模块训练步骤为：

对大规模文本数据集中的训练文本进行处理，去掉乱码及符号后生成共有V个单词的词汇表；

将词汇表中每个单词对应确定为一个N维的可学习词向量；

使用词汇表中V个单词的N维可学习词向量对自监督网络进行训练，获得训练好的自监督网络；

保留训练好自监督网络的特征编码器部分作为词嵌入模块。

3.根据权利要求2所述的一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，所述自监督网络包括Word2Vec、GloVe、Fasttext、Kazumachar及Bert网络。

4.根据权利要求2所述的一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，所述生成对应的软标签，具体为：

将训练数据集输入词嵌入模块，获取每个类别对应的软标签，表示为：

w_c∈R^D

其中，w_c表示训练数据集中第c个类的软标签，R^D表示实数空间R上D维向量；

所述训练数据集表示为：

DA＝{(x_i,y_i),i＝1,…,N}

其中，x_i表示第i张训练图像，y_i表示第i张训练图像对应的真实独热标签，N表示训练数据集中总的训练图像数量。

5.根据权利要求4所述的一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，所述获取特征向量，具体为：

使用特征提取器提取训练图像x_i的特征向量，表示为：

f_i＝F(x_i)

其中f_i表示特征提取器对于输入训练图像x_i的D维特征向量输出。

6.根据权利要求5所述的一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，所述得到训练好的语义软标签图像识别模型，具体为：

对于每一张训练图像x_i，通过余弦距离损失函数来计算特征提取器输出的f_i和对应软标签之间的余弦相似度，得到交叉熵损失函数，公式为：

其中，s(f_i,w_i)表示第i张训练图像的特征向量f_i与第i张训练图像对应软标签w_i之间的余弦相似度，C表示训练数据集中类别总数，s(f_i,w_j)是第i张训练图像的特征向量f_i与训练数据集中第j个类别对应的软标签w_j之间的余弦相似度，τ为温度超参数；

利用交叉熵损失函数对特征提取器进行训练，并通过随机梯度下降更新特征提取器的参数；

得到训练好的语义软标签图像识别模型。

7.根据权利要求6所述的一种数据有限和不平衡的语义软标签图像识别方法，其特征在于，所述特征提取器采用ResNet、VGG、DenseNet或ViT网络结构。