[发明专利]图像的多标签类别预测方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像的多标签类别预测方法及装置、电子设备和存储介质，所述方法包括：根据蒸馏特征对待预测图像进行特征提取，得到待预测图像的蒸馏特征信息，蒸馏特征包括从弱监督检测模型进行知识蒸馏后得到的特征，弱监督检测模型用于对图像进行类别检测；对蒸馏特征信息进行类别预测处理，得到待预测图像的类别预测置信度；根据待预测图像的类别预测置信度确定待预测图像的类别预测结果。本公开实施例可以实现特征级别的蒸馏，能够使用从弱监督检测模型进行知识蒸馏后得到的蒸馏特征，对待预测图像进行特征提取，使得待预测图像的类别预测过程更加高效、类别预测结果更加准确。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像的多标签类别预测方法及装置、电子设备和存储介质。

背景技术

在对图像进行多标签类别预测时，可以利用模型进行预测。由于多标签图像自身包含多样化的语义信息，需要多个类别进行描述，类别的个数不确定，导致模型需要对图像有深入的理解。且各类别之间存在关联性，类别之间的关联性对于预测结果有重大影响，但类别之间的关联性很难进行自适应的建模，导致传统的利用模型对图像进行多标签类别预测方法，模型缺乏自适应性、模型复杂程度高，需要借助人工对图像的标签类别之间的关系进行预先定义。

发明内容

有鉴于此，本公开提出了一种图像的多标签类别预测技术方案。

在本公开实施例的一方面，提供一种图像的多标签类别预测方法，所述方法包括：

根据蒸馏特征对待预测图像进行特征提取，得到所述待预测图像的蒸馏特征信息，所述蒸馏特征包括从弱监督检测模型进行知识蒸馏后得到的特征，所述弱监督检测模型用于对图像进行类别检测；

对所述蒸馏特征信息进行类别预测处理，得到所述待预测图像的类别预测置信度；

根据所述待预测图像的类别预测置信度确定所述待预测图像的类别预测结果。

在一种可能的实现方式中，对所述蒸馏特征信息进行类别预测处理，得到所述待预测图像的类别预测置信度，包括：

根据蒸馏类别预测结果对所述蒸馏特征信息进行类别预测处理，得到所述待预测图像的类别预测置信度，所述蒸馏类别预测结果包括从所述弱监督检测模型进行知识蒸馏后得到的类别预测结果。

在一种可能的实现方式中，所述方法应用于分类模型，所述分类模型的训练方法包括：

根据所述弱监督检测模型对所述分类模型进行训练。

在一种可能的实现方式中，所述分类模型的训练方法，包括：

将第一样本图像输入所述分类模型进行第一特征提取，得到所述第一样本图像的第一特征信息；

将所述第一样本图像输入所述弱监督检测模型进行第二特征提取，得到所述第一样本图像的第二特征信息；

根据所述第一特征信息和所述第二特征信息确定所述分类模型的特征损失函数；

根据所述特征损失函数，对所述分类模型进行反向传播。

在一种可能的实现方式中，所述分类模型的训练方法，包括：

在所述分类模型中，将所述第一特征信息进行类别预测处理，得到所述第一样本图像的第一类别预测置信度；

在所述弱监督检测模型中，将所述第二特征信息进行类别预测处理，得到所述第一样本图像的第二类别预测置信度；

根据所述第一类别预测置信度和所述第二类别预测置信度，确定所述分类模型的类别预测损失函数；

根据所述类别预测损失函数对所述分类模型进行反向传播。