[发明专利]一种多标签图像分类方法、装置、设备及存储介质

权利要求书

1.一种多标签图像分类方法，其特征在于，包括：

获取待分类图像，使用Python图像库将所述待分类图像转换为多维张量；

将所述多维张量输入到预先训练好的分类模型中，得到待分类图像的分类结果；

其中，所述分类模型的训练步骤包括：

将待训练图像输入到Transformer网络，获取多维特征向量；

获取各个图像的标签，生成标签词向量；

根据所述多维特征向量和所述标签词向量进行融合处理，获取图像的第一预测标签；

根据所述标签词向量对分类模型进行迭代训练，并根据训练得到的分类模型获取图像的第二预测标签；

根据所述第一预测标签和所述第二预测标签，结合待训练图像的测试集，确定满足测试条件的分类模型；

所述分类模型包括依次连接的Transformer网络和GCN网络；

其中，所述GCN网络包括2层，所述GCN网络的第一层是图卷积层，所述第一层的输入为C×d维标签词向量矩阵和C×C维关系矩阵，所述第一层使用d×1024维权重矩阵，所述第一层输出为C×1024维标签词向量共现矩阵；所述GCN网络的第二层是图卷积层，所述第二层的输入为所述第一层的C×1024维标签词向量共现矩阵和C×C维关系矩阵，所述第二层使用1024×D维权重矩阵，所述第二层输出为C×D维标签词向量共现矩阵；

所述根据所述多维特征向量和所述标签词向量进行融合处理，获取图像的第一预测标签，包括：

采用向量的点积操作对所述多维特征向量和共现关系词向量矩阵进行融合，得到图像的多维预测标签；

所述根据所述标签词向量对分类模型进行迭代训练，并根据训练得到的分类模型获取图像的第二预测标签，包括：

根据多维关系矩阵构建二范数损失函数；

根据所述第一预测标签构建多标签分类损失函数；

根据所述二范数损失函数和所述多标签分类损失函数，构建目标损失函数；

根据所述目标损失函数对所述分类模型进行迭代训练，得到训练好的分类模型；

根据所述训练好的分类模型，获取图像的第二预测标签。

2.根据权利要求1所述的一种多标签图像分类方法，其特征在于，所述将待训练图像输入到Transformer网络，获取多维特征向量，包括：

获取多张图像构成的训练集和多张图像构成的测试集；

将所述训练集输入到Transformer网络中；

从所述Transformer网络的平均池化层提取训练集中每张图像的多维特征向量；

其中，所述多维特征向量的提取公式为：

其中，表示平均池化操作，表示Transformer网络；表示图像，表示Transformer网络的参数。

3.根据权利要求2所述的一种多标签图像分类方法，其特征在于，所述获取各个图像的标签，生成标签词向量，包括：

获取所述训练集中所有图像的标签，将每个标签输入Bert模型中，生成每个标签对应的标签词向量；

将所述标签词向量构成一个标签词向量矩阵；

通过卷积层将所述标签词向量矩阵映射为第一矩阵和第二矩阵；

采用点积操作将所述第一矩阵和所述第二矩阵融合成多维关系矩阵，将所述标签词向量矩阵和所述多维关系矩阵输入到图卷积网络中，得到所有标签对应的多维共现关系词向量矩阵。

4.根据权利要求3所述的一种多标签图像分类方法，其特征在于，所述采用点积操作将所述第一矩阵和所述第二矩阵融合成多维关系矩阵，将所述标签词向量矩阵和所述多维关系矩阵输入到图卷积网络中，得到所有标签对应的多维共现关系词向量矩阵，包括：

构建两个1×1卷积层分别将所述标签词向量矩阵映射为第一矩阵和第二矩阵；

采用点积操作将所述第一矩阵和所述第二矩阵融合成多维关系矩阵；

将所述多维关系矩阵输入到GCN网络中，获取共现关系词向量矩阵。