[发明专利]基于标签传播的图神经网络快速训练方法

说明书

本发明公开了一种基于标签传播的图神经网络快速训练方法，包括：使用标签传播算法传播训练集的标签矩阵，为图结构中其他节点赋予伪标签，得到图结构中所有节点的软标签矩阵，软标签矩阵的元素为节点被打上伪标签的静态置信度；所述训练集中包含了图结构中一部分节点集合的类别标签；根据节点自身的特征信息和逐渐收敛的神经网络预测器为节点的伪标签分配动态置信度；自适应地结合两类置信度，指导训练神经网络预测器。该方法相比于传统解耦GCN的运算量更小，能够以更快的速度训练到收敛，且比较适合并行的分布式计算；此外，能够提升性能，并且对于标签噪声的鲁棒性更强。

技术领域

本发明涉及神经网络训练技术领域，尤其涉及一种基于标签传播的图神经网络快速训练方法。

背景技术

图结构广泛存在，比如论文之间的引用关系网络、推荐系统的用户-物品二分图、分子结构图等，设计通用的图学习范式具有广泛的应用前景，然而由于图结构信息的复杂性，设计通用的图学习范式存在巨大的挑战。近些年来提出的图卷积神经网络(GraphConvolution Neural Network，GCN)适用于多种图数据任务，可以看作是一种通用的图学习范式。由于图卷积神经网络的有效性和灵活性，其迅速在学术界和工业界得到了广泛的关注。

对于图卷积神经网络有两种理解：从谱域理解图卷积网络可以看作是一种低通滤波器，通过过滤高频信号、保留低频信号，使图信号在图结构上的变换更加平滑；从空域理解图卷积网络，图卷积网络可以分为邻居聚合和特征变换两部分，邻居聚合使得相连的节点的表示更加接近，特征变换使得特征能够有效地变换到需要的空间。从空域理解图卷积网络更加直观，这种理解方法迅速成为主流，并启发了一系列有价值的工作，比如图注意力网络(GAT)、图同构网络(GIN)、基于采样的图卷积网络(GraphSage)等等。

从空域理解图卷积网络也看出了图卷积网络设计的不合理之处：邻居聚合和特征变换在图卷积网络里是耦合在一起的，这种设计是没有必要的，还可能带来一定的副作用：邻居聚合是为了让图信号更加平滑，过深的邻居聚合会导致过度平滑，降低节点之间的区分度，从而降低性能；特征变换是为了增强模型的表达能力和学习能力，过深的特征变换使得模型有太多参数，很容易导致过拟合，此外深度的神经网络也会遇到梯度消失和梯度爆炸的问题。因此邻居聚合的层数和特征变换的层数都有最优值，两者最优值很可能是不相等的，图卷积网络里的耦合强制两者相等，可能使模型陷入次优解。

最近几个重要的工作对此进行了改进，提出了解耦图卷积网络--在若干层特征变换之后做若干层邻居聚合。APPNP(对神经预测的近似个性化传播算法)和DAGNN(深层自适应图神经网络)两个算法显示地提出该框架，SGCN(简化图卷积神经网络)和lightGCN(轻型图卷积神经网络)从简化的角度出发也可以归纳到解耦GCN里面。解耦GCN以比GCN更简洁的形式取得了更好的效果，且为分析模型带来可行性，具有重要的意义。但是，传统解耦图卷积网络的方案训练效率不高、以及训练后的网络模型性能也有待提升。

发明内容

本发明的目的是提供一种基于标签传播的图神经网络快速训练方法，可以大幅提升训练效率、取得更好的性能、稳定性和鲁棒性更优秀。

本发明的目的是通过以下技术方案实现的：

一种基于标签传播的图神经网络快速训练方法，其特征在于，包括：

使用标签传播算法传播训练集的标签矩阵，为图结构中其他节点赋予伪标签，得到图结构中所有节点的软标签矩阵，软标签矩阵的元素为节点被打上伪标签的静态置信度；所述训练集中包含了图结构中一部分节点集合的类别标签；

根据节点自身的特征信息和逐渐收敛的神经网络预测器为节点的伪标签分配动态置信度；自适应地结合两类置信度，指导训练神经网络预测器。