[发明专利]零样本图像分类方法、系统、电子设备及存储介质

说明书

本公开提供一种零样本图像分类方法、系统、电子设备及存储介质，该方法先提取输入图像的全局特征，然后基于注意力机制对所述全局特征进行学习，以得到多个特征掩码，基于所述多个最大掩码值中的最大值和预设的自适应因子，计算自适应阈值；基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征；计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，确定所述多个相容性得分中的最大值作为最高相容性得分，并输出与所述最高相容性得分对应的所述未见类别作为对所述输入图像的类别预测结果，从而通过阈值自适应的注意力机制，抑制冗余特征的同时提高了特征的鲁棒性，进一步提高了分类的准确度。

技术领域

本公开涉及图像分类技术领域，尤其涉及一种零样本图像分类方法、系统、电子设备及存储介质。

背景技术

零样本学习是小样本学习的一种，这些概念的提出是受到人类学习的启发，人类只需要通过少量例子的学习就可以掌握一个新的概念，甚至没有例子也能学习一个新的概念。婴儿可以通过看书本上的苹果，在下次见到真正的苹果就很容易认出来这就是苹果。学生也可以根据老师的描述学习一些新的概念或者事务，例如通过学习斑马就是长着黑白条纹的马这样的描述后，学生在见到斑马后很容易识别出来。

零样本识别模型基于直接语义进行预测，根据利用中间信息的方式不同，这些方法可以分类为直接属性预测(DAP)和非直接属性预测(IAP)。直接属性预测，就是把图像映射到属性空间，然后通过属性完成对未知类别的预测。间接属性预测，首先把图像映射到已知的类别空间，然后映射到属性空间，最后通过属性完成对未知数据的类别预测。使用DAP和IAP方法建立的模型具有很强的可解释性，但这两种方法将属性置于一个过于重要的位置，属性的误标注会对这类方法的性能产生较大的负面影响。

发明内容

有鉴于此，本公开的目的在于提出一种零样本图像分类方法、系统、电子设备及存储介质。

基于上述目的，本公开提供了一种零样本图像分类方法，通过预先训练好的零样本分类模型执行，所述零样本分类模型包括第一神经网络层、基准神经网络层、全卷积神经网络层和第二神经网络层，该方法包括：

通过所述第一神经网络层将多个未见类别的属性向量映射到图像特征空间，以得到所述多个未见类别的语义嵌入向量；

通过所述基准神经网络层提取输入图像的全局特征；

通过所述全卷积神经网络层，基于注意力机制对所述全局特征进行学习，以得到多个特征掩码；

对于所述多个特征掩码中的每个特征掩码，确定该特征掩码的各个元素值中的最大值作为该特征掩码的最大掩码值，以得到分别与所述多个特征掩码对应的多个最大掩码值；

基于所述多个最大掩码值中的最大值和预设的自适应因子，计算自适应阈值；

基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征；

对于所述多个未见类别中的每个未见类别，通过所述第二神经网络层计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，以得到分别与所述多个未见类别对应的多个相容性得分；

确定所述多个相容性得分中的最大值作为最高相容性得分，并输出与所述最高相容性得分对应的所述未见类别作为对所述输入图像的类别预测结果。