[发明专利]一种多标签图像分类方法、装置、设备及存储介质

说明书

本发明公开了一种多标签图像分类方法、装置、设备及存储介质，方法包括：获取待分类图像，使用Python图像库将待分类图像转换为多维张量；将多维张量输入到预先训练好的分类模型中，得到待分类图像的分类结果；其中，分类模型的训练步骤包括：将待训练图像输入到Transformer网络，获取多维特征向量；获取各个图像的标签，生成标签词向量；根据多维特征向量和标签词向量进行融合处理，获取第一预测标签；根据标签词向量对分类模型进行迭代训练，并根据训练得到的分类模型获取第二预测标签；根据第一预测标签和第二预测标签，结合待训练图像的测试集，确定分类模型。本发明提高了分类效率，可广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种多标签图像分类方法、装置、设备及存储介质。

背景技术

如今，多标签图像分类在计算机视觉领域得到了日渐广泛的应用，包括多目标识别、情感分析、医疗诊断识别等。由于每张图像中都包含多个对象，而且一张图像包含多种风格，因此如何有效地学习这些对象之间的关联关系、以及如何将这种关系与图像特征有效融合依然充满着挑战性。

一般而言，现有的多标签图像分类方法首先利用卷积神经网络得到图像的特征向量，然后利用图卷积网络(Graph Convolutional Network，GCN)得到标签之间的共现关系词向量，最后采用向量的点积操作来融合图像特征和标签的共现关系词向量，但并没有考虑图像特征与标签词向量来自于不同的模态，多模态向量的融合效率低，从而影响了分类模型的图像识别性能。

发明内容

有鉴于此，本发明实施例提供一种高效的多标签图像分类方法、装置、设备及存储介质。

本发明的第一方面提供了一种多标签图像分类方法，包括：

获取待分类图像，使用Python图像库将所述待分类图像转换为多维张量；

将所述多维张量输入到预先训练好的分类模型中，以得到待分类图像的分类结果；

其中，所述分类模型的训练步骤包括：

将待训练图像输入到Transformer网络，获取多维特征向量；

获取各个图像的标签，生成标签词向量；

根据所述多维特征向量和所述标签词向量进行融合处理，获取图像的第一预测标签；

根据所述标签词向量对分类模型进行迭代训练，并根据训练得到的分类模型获取图像的第二预测标签；

根据所述第一预测标签和所述第二预测标签，结合待训练图像的测试集，确定满足测试条件的分类模型。

可选地，所述分类模型包括依次连接的Transformer网络和GCN网络；

其中，所述GCN网络包括2层，所述GCN网络的第一层是图卷积层，所述第一层的输入为C×d维标签词向量矩阵和C×C维关系矩阵，所述第一层使用d×1024维权重矩阵，所述第一层输出为C×1024维标签词向量共现矩阵；所述GCN网络的第二层是图卷积层，所述第二层的输入为所述第一层的C×1024维标签词向量共现矩阵和C×C维关系矩阵，所述第二层使用1024×D维权重矩阵，所述第二层输出为C×D维标签词向量共现矩阵。

可选地，所述将待训练图像输入到Transformer网络，获取多维特征向量，包括：

获取多张图像构成的训练集和多张图像构成的测试集；

将所述训练集输入到Transformer网络中；

从所述Transformer网络的平均池化层提取训练集中每张图像的多维特征向量；

其中，所述多维特征向量的提取公式为：