[发明专利]一种基于显著性的多模态小样本学习方法

权利要求书

1.一种基于显著性的多模态小样本学习方法，其特征在于，包括多模态结合和标签传播两部分，具体如下：

多模态结合过程中，首先通过预训练好的显著性检测网络对支持集的样本图像进行显著图提取，分离出样本图像的前景和背景；

其次通过GloVe模型获取支持集样本图像前景、背景区域语义的单词嵌入，作为语义信息辅助视觉信息分类；

最后对于所获取支持集样本图像的前景、背景与语义信息，分别通过模态混合机制进行自适应结合，将前景部分与前景语义相结合，背景部分与背景语义相结合，实现视觉与语义模态的结合，得到具有多模态信息的样本特征表示；

具体的，对于视觉信息和语义信息两种模态，通过凸组合的方式将两个模态进行结合，对于每一张图像新的前景混合信息F_c、背景混合信息B_c如下：

F_c＝λ_f·f(F_I)+(1-λ_f)·w_f (3)

B_c＝λ_b·f(B_I)+(1-λ_b)·w_b (4)

其中，F_I表示图像的前景部分，B_I表示图像的背景部分；f为神经网络；λ为自适应混合参数，λ_f和λ_b分别代表对于前景、背景的自适应参数，用来调节视觉与语义两种模态的权重；w_f＝g(e_f)为所获得的前景单词嵌入e_f经过神经网络g得到的前景嵌入特征，背景语义特征为w_b＝g(e_b)；λ自适应混合参数由以下公式计算：

其中u神经网络为一个包含300个隐藏单元的隐藏层，将输出变换为一个标量；

将混合模态的前景、背景信息进行自适应结合，公式如下：

P_c＝β·F_c+(1-β)·B_c (7)

其中β为自适应参数，同样由u神经网络获得，最终获得具有多模态信息的新图像表示；

标签传播过程中，首先将模态结合后的支持集样本与查询集样本根据K近邻方法进行图构造；最终通过带有标签的支持集样本预测没有标签的查询集样本的类别。

2.根据权利要求1所述一种基于显著性的多模态小样本学习方法，其特征在于，所述显著性检测网络为F3Net。