[发明专利]一种超图神经网络的小样本图像识别方法、装置及设备

说明书

本发明涉及一种超图神经网络的小样本图像识别方法，利用卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征，构建多语义超图；利用超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示，得到训练集的超节点特征表示；根据训练集的超节点特征表示，得到多语义分布信息，将多语义分布信息与训练集的超节点特征表示进行信息交互，通过相互迭代更新来不断优化多语义超图，得到训练集的目标超节点特征表示，根据训练集的目标超节点特征表示，计算得到训练集中查询集的分类结果。本发明通过超图结构的图像消息传递，捕获丰富的语义嵌入特征和多个语义分布特征，实现了小样本图像分类的识别。

技术领域

本发明涉及图像识别技术领域，尤其是指一种超图神经网络的小样本图像识别方法、装置、设备及计算机可读存储介质。

背景技术

近年来，基于小样本学习的问题获得了广泛的研究，涌现出了很多先进的方法来提升小样本学习的性能，当前主要相关方法为基于图神经网络的方法：基于图神经网络的方法的核心是探索查询样本和支持样本/类之间的关系。受图形神经网络(GNNS)在点间关系建模和信息传播方面的成功启发，研究人员提出了许多基于图形的方法来执行小样本学习任务，并取得了巨大成功。跨导传播网络(TPN)利用支持和查询示例之间的相似性，通过成对节点特征的相似性传播标签，它利用一个封闭形式的解决方案来执行迭代标签传播。边缘标记图神经网络(EGNN)利用节点之间的相似性/相异性来动态更新边缘标签。分布传播图网络(DPGN)构建了一个对偶图来模拟样本的分布水平关系，并且优于分类任务中的大多数现有方法。

传统的图结构小样本学习，由于小样本学习任务样本数量很少，传统的小样本学习方法容易出现过拟合。最近一些工作探索在样本实例间构建图结构，并利用图神经网络来增强小样本学习任务的识别。总得来说，一个完全连接的图结构G＝(V,E)是通过卷积神经网络CNN提取样本的特征，每个节点表示一个样本，边代表所连两个样本的二值关系。和分别表示图的节点集合和边集合。边e_ij表示节点v_i和v_j之间的关系，如果e_ij＝1表示节点v_i和v_j属于同一类别。可以看出，基于图的小样本学习中的二元关系只来自标签差异，而忽略了样本中包含的丰富语义特征。这可能会限制其性能。因此，需要设计一种超图神经网络的小样本图像识别方法。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中基于图的小样本学习中的二元关系只来自标签差异，而忽略了样本中包含的丰富语义特征的缺陷。

为解决上述技术问题，本发明提供了一种超图神经网络的小样本图像识别方法，包括：

S101：构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；

S102：将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；

S103：利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；

S104：根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；

S105：利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；

S106：根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；