[发明专利]一种基于边Transformer图神经网络的小样本图像分类方法及系统

说明书

本发明公开了一种基于边Transformer图神经网络的小样本图像分类方法及系统，引入transformer模型来对图中的边特征进行更新，通过将结点之间的差值特征图拆分成特征块序列输入到transformer模块得到更新后的边特征，使得每一个像素位置会被分配不同的注意力权重以突出关键区域。本发明的思想是利用transformer中的自注意力机制来自动聚焦到用于衡量结点间相似性的关键区域，从而达到抑制背景信息并突出关键区域的目的。本发明在miniImageNet数据集上进行的对比实验证明了本发明可以提高小样本图像分类的精度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于边Transformer图神经网络的小样本图像分类方法及系统。

背景技术

近年来，得益于计算机算力的飞速提升，深度学习成为了人工智能领域研究的热门。然而深度学习繁荣发展的背后是大规模人工标注的数据集的支撑，并且越加复杂的网络就越需要更加庞大的数据集来训练。但是在一些特殊的领域数据是非常匮乏的，如医学中罕见病例的判别，其现有的有限医学图像是远远不够用于训练一个良好的深度模型的。这时就希望模型可以减少对数据的依赖，像人类一样可以进行快速的学习，那么将会大大减少数据的人工标注成本，基于此小样本学习渐渐得到了许多研究者的关注。小样本学习顾名思义就是在带标注数据不充足的情况下进行的学习任务，一个优秀的小样本学习模型通过一定量任务的训练后，不需要进行额外的训练就可以泛化到新的任务上。现有的小样本学习方法大致可以分为基于度量学习、基于元学习、基于数据增强以及基于图神经网络四种。

现有的基于图神经网络的小样本学习模型基于全局相似度来进行结点特征的聚合，这种方式会聚合许多背景信息进而引起语义上的歧义，为了解决这一问题，受transformer模型的启发，本发明提出一种利用transformer感知关键区域的小样本学习方法，抛弃了CNN转而使用transformer编码器来对GNN中的边特征进行更新。动机来自于transformer模型结构中含有的自注意力层，使得模型天生具有感知关键区域的能力，所以本章的方法利用其中的自注意力机制来自动学习为不同的像素位置分配不同的注意力，进而在结点特征聚合的时候给予关键区域更多的关注。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于边Transformer图神经网络的小样本图像分类方法及系统，通过利用transformer模型结构中含有的自注意力层，使得模型天生具有感知关键区域的能力，进而增强模型在小样本图像分类任务上的表现。

本发明采用以下技术方案：

一种基于边Transformer图神经网络的小样本图像分类方法，包括以下步骤：

S1、采样小样本学习任务T；

S2、将步骤S1得到的小样本学习任务T中的每一个样本x_i送入构建的嵌入网络F_emb中，得到每一个样本的特征图f_i；

S3、构建一个全连接图G_T，将步骤S2中每一个样本的特征图f_i作为初始的结点特征并根据查询样本的标签初始化边特征

S4、将步骤S3构建的全连接图G_T输入到由L层边Transformer图神经网络构成的ETGNN中迭代进行结点特征更新，利用Transformer图神经网络的边transformer模块进行边特征更新，得到每一层的边特征

S5、对步骤S4得到的L层的边特征进行级联，然后输入到构建的边特征融合网络F_fus中，得到最终边并根据最终边以及支持样本的类别y_j得到查询结点v_i的类别概率分布