[发明专利]一种面向标签噪声的图节点分类方法

权利要求书

1.一种面向标签噪声的图节点分类方法，其特征在于，包括以下步骤：

1)构建三个网络结构、推断过程、训练过程均相同的图卷积网络模型，分别为第一图卷积网络模型、第二图卷积网络模型和第三图卷积网络模型；其中，所述第一图卷积网络模型和第二图卷积网络模型用于全数据联合分布的估计,所述全数据联合分布是指在带标记节点与未标记节点上估计的联合分布，所述第三图卷积网络模型用于节点分类、预测未标记节点的标签；

2)在图数据上估计带标记节点中可观察的噪声标签与潜在的真实标签之间的联合分布，剪枝噪声数据得到初次清理的图数据，并训练第一图卷积网络模型；

估计图节点中可观察的噪声标签与潜在的真实标签之间的联合分布、剪枝噪声数据的具体过程如下：

2.1)采用交叉验证法将图数据中带标记节点分为多折，分别构建、训练与步骤1)中相同的图卷积网络模型并预测，得到每折带标记节点的预测概率并汇总为表示带标记节点的预测概率矩阵，每个矩阵元素为第k个节点的标签预测为i的概率；

2.2)根据所有带标记节点的预测概率矩阵和每个节点的可观察标签进行分箱计数，一个可观察标签为i的节点x在具有满足规定的时被分配到真实标签为j的计数中，其中表示节点x的可观察标签被预测为j的概率，由此得到可观察标签与真实标签y^*之间的联合分布具体计算过程如下：

其中，[i]和[j]分别表示由矩阵表示的联合分布中特定元素的行编号与列编号，编号值与标签值一一对应；表示可观察标签为i且真实标签为j的节点集合；表示可观察标签为i的节点；M表示节点类别标签值的集合，c为来自M的节点标签值；表示节点x的可观察标签被预测为c的概率；t_j和t_c分别为节点被分配到真实标签为j和c的阈值，t_j由可观察标签为j的节点被预测为j的平均预测概率计算得到，t_c由可观察标签为c的节点被预测为c的平均预测概率计算得到；

最后，对联合分布归一化，得到归一化后的联合分布

2.3)对于中每一个非对角项按照每个节点标签被预测为i和j的概率的差值，将可观察标签为i的节点从大到小排序，并将差值最大的前个节点作为噪声节点，其中n表示图数据中的节点总数，表示联合分布中可观察标签为i、真实标签为j且i≠j时所对应的概率值；在找到标签噪声节点后，在训练过程中去除标签噪声节点的标签，并使用为每个类重新加权损失函数，其中表示一个节点真实标签为i时可观察标签也为i的概率；

2.4)使用初次清理的图数据训练第一图卷积网络模型；

3)在图数据上训练第二图卷积网络模型，与步骤2)的第一图卷积网络模型一起预测图数据上未标记节点，分别得到伪标签和预测概率矩阵，结合带标记节点的标签和预测概率矩阵共同估计全数据联合分布并剪枝噪声数据，得到二次清理的图数据；

利用伪标签将未标记节点与带标记节点结合起来共同估计全数据联合分布并剪枝噪声数据的具体过程如下：

3.1)在图数据上训练第二图卷积网络模型，并使用第二图卷积网络模型对未标记节点进行预测，取预测得到的类别标签为节点打上标签，这样得到的标签称作伪标签；

3.2)使用步骤2)中的第一图卷积网络模型对未标记节点进行预测，取得未标记节点的预测概率矩阵；

3.3)将未标记节点的伪标签、预测概率矩阵与带标记节点的标签、预测概率矩阵组合在一起共同估计全数据联合分布并剪枝噪声数据，即重复步骤2.2)和2.3)，得到二次清理的图数据；

4)使用步骤3)得到的二次清理的图数据训练第三图卷积网络模型，并预测未标记节点的标签。

2.根据权利要求1所述的一种面向标签噪声的图节点分类方法，其特征在于：在步骤1)中，所构建的图卷积网络模型的网络结构、推断过程、训练过程如下：

所构建的图卷积网络模型f(·)由一层输入层、若干层隐藏层和一层输出层组成；图数据G＝(V,E,A,X)被用于图卷积网络模型的训练，V和E分别表示图中节点和边的集合；f(·)接收节点特征矩阵X为输入，根据邻接矩阵A学习节点新的特征表示，使得相邻节点具有相似的特征表示，由此对未标记节点的标签进行平滑的标签传播：

其中，表示模型预测的标签，即类别；Θ表示图卷积网络模型的参数；

所构建图卷积网络模型的推断及训练过程分为以下四步：

1.1)对邻接矩阵A进行重归一化，为每个顶点添加一个自循环连接，由此得到新的邻接矩阵和度矩阵其中I为与邻接矩阵大小一致的单位矩阵，接着得出重归一化后的邻接矩阵

1.2)节点特征矩阵X和邻接矩阵在多层结构的图卷积网络模型中逐层传播，计算每层的激活特征值，直到输出层为止，公式如下：

其中，H^(l+1)为第l+1的激活特征矩阵，H^(l)为第l层的激活特征矩阵，同时H⁽⁰⁾＝X表示输入层的特征矩阵H⁽⁰⁾等于节点特征矩阵X；Θ^l为第l层的可训练权重矩阵；σ为该层的激活函数，采用线性整流函数；

1.3)在输出层得到的特征值使用Softmax函数激活，生成预测矩阵

其中，L表示图卷积模型的总层数，H^(L-2)为最后一层隐藏层的激活特征矩阵，Θ^(L-1)为输出层权重矩阵；

1.4)得到节点的预测概率矩阵后，根据带标记节点的标签计算交叉熵损失，并反向传播、更新参数和训练模型。