[发明专利]一种基于对比学习的零样本图像分类网络及深度学习方法

说明书

本发明涉及一种基于对比学习的零样本图像分类网络及深度学习方法，设计的模型包括语义属性的对比学习嵌入、学生模型和教师模型的一致性约束以及原型模块三个部分。其中语义属性的对比学习嵌入部分从实例级监督和类别级监督两个层上面着手，在正负样本的预测语义属性上以及正负类别的预测语义属性上进行对比学习。一致性约束部分引入了Mean Teacher机制，将采用不同数据增强的图像输入给学生模型和教师模型，再通过让二者输出结果趋于一致来对模型增强约束。原型模块在学生模型和教师模型内部，通过属性原型向量的学习将视觉特征转换为预测属性得分。

技术领域

本发明属于零样本图像分类领域，涉及一种基于对比学习的零样本图像分类网络及深度学习方法。

背景技术

零样本学习(Zero-shot Learning，ZSL)，也称作零样本分类(Zero-shotClassification，ZSC)，是指借助某种辅助知识对已知类的样本进行训练，完成未知类样本类别预测的一种技术。在此种分类场景下，已知类是训练类，未知类是测试类，且已知类与未知类是互斥的。与传统分类算法不同的是，零样本学习能够针对训练阶段完全缺失的样本，在测试阶段对其可分，即识别训练集中从未出现过的类别样本。而传统的分类算法仅能对测试类别属于训练类别的样本可分。零样本学习的这一学习机制大程度地缓解了传统模型对于足够样本和数据标签的依赖，并且为目标任务训练样本完全缺失的情况提供了可靠的解决方案。

零样本学习的核心思想是模仿人类的推理能力。人类具有很强的学习能力与推理能力，可以在无目标任务样本的情况下，通过学习与目标任务相关的辅助知识，完成对特定目标的学习。一个孩子可以从少量的样例中学习总结知识，当一个新类别样例出现时，通过一句话的描述就可以识别出新种类。零样本学习希望模型也能够具有这样举一反三的的推理能力，其利用语义信息作为已知类和未知类连接的桥梁，让模型在训练阶段从已知类样本中学习总结知识，然后在测试阶段将所学知识应用到未知类样本上进行分类，进而在已知训练类和未知测试类之间实现知识共享和传递。

如图附图1展示了零样本学习示意图，模型在训练阶段通过学习马的形状、熊猫的颜色和老虎的条纹等知识实现了测试阶段斑马类别的预测。具备推理能力的零样本学习模型让机器学习系统更加符合人类学习机制，帮助人工智能系统摆脱对于目标任务有标签数据集的依赖，进一步为实现真正意义上的人工智能作出了重要贡献。

零样本学习经历了不同时期的发展阶段。早期阶段的零样本图像分类方法大多属于基于直接语义预测的方法。近年来，随着深度学习技术的进步，基于深度学习的网络呈现爆发式增长，利用卷积神经网络提取的深度视觉特征作为图像信息的高级语义表达，有效地提升了基于嵌入模型方法的分类准确率。此外，生成对抗网络等模型的提出进一步为零样本学习问题提供了可靠的解决思路。根据解决零样本学习问题技术路线的不同，可以将现有的零样本图像分类方法分为3类：(1)基于直接语义预测的方法；(2)基于嵌入模型的方法；(3)基于生成式模型的方法。

针对提升零样本图像分类任务中具有判别性以及鲁棒性的语义属性的图像特征表达能力，进而实现嵌入空间下跨模态信息的语义对齐的核心问题，目前行业内有两种典型的解决方案，分别是通过设计特定的特征提取器或者使用原型学习来对齐真值类属性。特征提取器使用类别属性信息或局部信息进行有效引导，改进样本的视觉表示，从而对齐到相应的类原型。结合原型学习的方法不再将真值类属性视为原型，而是通过可学习的视觉原型来进行属性语义的特征表达。然而，这些方法在进行视觉特征表达的时候，忽略了对语义属性本身的探索，缺乏语义属性在不同类别间的判别性表达，以及同一类别上的鲁棒性表达。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于对比学习的零样本图像分类网络及深度学习方法，主要目的是提升零样本图像分类任务中具有判别性以及鲁棒性的语义属性的图像特征表达能力，进而实现嵌入空间下跨模态信息的语义对齐。

技术方案