[发明专利]一种基于边Transformer图神经网络的小样本图像分类方法及系统

权利要求书

1.一种基于边Transformer图神经网络的小样本图像分类方法，其特征在于，包括以下步骤：

S1、采样小样本学习任务T；

S2、将步骤S1得到的小样本学习任务T中的每一个样本x_i送入构建的嵌入网络F_emb中，得到每一个样本的特征图f_i；

S3、构建一个全连接图G_T，将步骤S2中每一个样本的特征图f_i作为初始的结点特征并根据查询样本的标签初始化边特征

S4、将步骤S3构建的全连接图G_T输入到由L层边Transformer图神经网络构成的ETGNN中迭代进行结点特征更新，利用Transformer图神经网络的边transformer模块进行边特征更新，得到每一层的边特征具体为：

S401、输入步骤S3中得到的全连接图G_T到边transformer图神经网络ETGNN进行3层图更新，对于边transformer图神经网络ETGNN中的每一层，根据边特征更新结点特征；

S402、将每一层更新后的结点特征输入到边Transformer模块更新边特征，通过边Transformer模块计算相邻结点特征间的差值特征图然后将差值特征图进行拆分，得到w*h个差值特征块组成的序列p^l，引入可学习的位置编码然后将序列p^l和位置编码进行级联得到序列最后将序列送入到边Transformer模块得到更新后的边特征

边Transformer模块包含两个子层，每一个子层后接一个LN层进行标准化，第一个子层为自注意力层，第二个子层为前馈网络层；

第一个子层中，首先得到序列的每个位置的查询向量键向量以及值向量然后计算自注意力将输入序列和自注意力做一个残差连接

第二个子层中，输出的边特征维度为：

其中，MLP为一个包含两个全连接层的多层感知机；

S5、对步骤S4得到的L层的边特征进行级联，然后输入到构建的边特征融合网络F_yus中，得到最终边并根据最终边以及支持样本的类别y_j得到查询结点v_i的类别概率分布

S6、根据步骤S5得到的查询结点的类别概率分布以及查询结点的标签y_i计算小样本分类损失L_fl，端到端地训练嵌入网络F_emb以及边Transformer图神经网络ETGNN，测试时利用类别概率分布对查询样本进行类别预测以实现小样本分类。

2.根据权利要求1所述的方法，其特征在于，步骤S2中，嵌入网络F_emb的输入为每次从步骤S1中采样的B个小样本学习任务T，B为每批次的大小，输出为任务T中每个样本x_i的特征图

3.根据权利要求2所述的方法，其特征在于，嵌入网络F_emb包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层以及输出层。

4.根据权利要求1所述的方法，其特征在于，步骤S3中，全连接图G_T＝(V,E)，V＝{v₁,…,v_N*K+r}表示图中的结点，E＝{e_ij；v_i,v_j∈V}表示图中的边，且表示图中相邻结点v_i和v_j之间每一对应像素位置即v_id∈R^1*c与v_jd∈R^1*c之间的相似性；将步骤S2得到的特征图作为图G_T＝(V,E)的初始结点特征然后进行边特征初始化。

5.根据权利要求4所述的方法，其特征在于，边特征初始化具体为：

其中，y_i和y_j分别表示结点v_i和v_j的类别标签。