[发明专利]一种基于显著性的多模态小样本学习方法

说明书

本发明公开一种基于显著性的多模态小样本学习方法，包括多模态结合和标签传播两部分，具体如下：多模态结合过程中，首先通过预训练好的显著性检测网络对支持集的样本图像进行显著图提取，分离出样本图像的前景和背景；其次通过GloVe模型获取支持集样本图像前景、背景区域语义的单词嵌入，作为语义信息辅助视觉信息分类；最后对于所获取支持集样本图像的前景、背景与语义信息，分别通过模态混合机制进行自适应结合，得到具有多模态信息的样本特征表示；标签传播过程中，首先将模态结合后的支持集样本与查询集样本根据K近邻方法进行图构造；最终通过带有标签的支持集样本预测没有标签的查询集样本的类别。

技术领域

本发明涉及一种小样本图像分类的方法，具体涉及一种基于显著性多模态数据处理的小样本学习方法。

背景技术

随着卷积神经网络的提出，深度学习在图像分类，语音识别和物体检测等方面取得了突破进展，然而，这些研究通常都需要大量带有标签的数据进行训练，例如ImageNet等，但在现实生活中，想要获取到大量的数据是十分困难的，例如濒危物种的照片，医学图像等，严重限制了模型在现实世界中的适用性，图像的标注也会耗费大量的人力财力，而人类能够通过极少量的样本识别一个新物体，通过先前学习到的知识，来帮助快速学习新的内容，将新概念整合到现有的概念网络中来学习新概念。所以提出了小样本学习，训练少量带有标签的数据就可以适应于新的看不见的类。

目前对于小样本学习研究主要有以下三个方面：度量学习，对样本间距离分布进行建模，使得属于同类样本靠近，异类样本远离，通常采用欧氏距离，余弦距离计算。例如匹配网络给定支持集，计算查询集中样本与支持集中每一个样本点之间的余弦距离，使用注意力机制对数据样本进行相似性度量，进而对样本进行分类。原型网络则是通过将每个类的平均值作为其对应类的原型表示，通过计算查询集样本点与原型表示之间的欧氏距离来学习度量空间；元学习，也叫做学会学习，利用以往的知识经验来指导新任务的学习，使模型具有学会学习的能力，利用优化过的元学习分类器，达到仅用少量数据就能够快速适应新任务的目的。Model-Agnostic Meta-Learning(MAML)中所有任务共享初始参数θ，学习一个好的初始化参数，通过进行一次或多次的梯度调整，以进行小样本学习；数据增强，通过增加样本数量来进行学习。LaSO受到数学数据集交并补启发，将多标签图片进行对象之间的交并补操作，通过生成更多样本来进行小样本学习。

小样本学习在数据样本获取方面受到了限制，如果仍使用现有的深度学习网络很容易导致过拟合，且在视觉方面获取到的信息很少，通过其他模态信息的辅助，可以弥补视觉信息缺乏的问题。人其实是一个多模态学习的总和，人类学习识别物体时不仅仅是从单一的方面去获取信息，而是从多个信息源获取信息，例如视觉，听觉等，观察物体时也总会关注突出的部分。我们可以通过全身为亮丽的白色，下腹为白色，枕部有一绒黑色斑等语义信息从鸟中识别出黑枕王鹟，Linda等论文也证实了语言可以帮助婴幼儿学习新的视觉对象，这表明在少样本图像分类的情形下，文本语义可以提供强有力的信息。互联网上已广泛提供了多模式数据，例如语音，视频，图像，文本等，这是促进人工智能理解现实世界的基本组成部分，通过不同模态的信息结合可以缓解视觉信息受限的问题。人类视觉系统在观察自然场景时具有快速搜索和定位感兴趣目标的能力，如何从图像中获得重要信息，也是计算机视觉领域的关键问题。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于显著性的多模态小样本学习方法，通过视觉和语义两种模态相结合，模仿人类从不同信息源获取信息，在视觉信息受限制时，利用语义信息辅助分类。分离图像前景，背景部分，使得更加关注前景部分，获得图像中最丰富的信息，提高图像分类性能。在分类部分，利用标签传播代替简单的度量方式，利用数据流形结构将支持集和查询集样本进行图构造，利用构造后的图预测查询集样本类别，实现在数据样本短缺，形式单一的情况下能够很好的识别物体。

本发明的目的是通过以下技术方案实现的：

一种基于显著性的多模态小样本学习方法，包括多模态结合和标签传播两部分，具体如下：