[发明专利]拓展单机图神经网络训练至分布式训练方法、系统及介质

权利要求书

1.一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，包括以下步骤：

步骤一：将数据同步操作注册成为单机图神经网络框架的算子；

步骤二：修改单机图神经网络模型代码，在单机图神经网络模型中所有图遍历计算算子之前，增加步骤一定义的数据同步算子的调用代码；

步骤三：进行图划分，以使得每台服务器得到全图的一部分节点和相对应的边；

步骤四：模型参数初始化；

步骤五：单机模型逻辑正向传播：每台服务器上的单机图神经网络框架针对其所看到的子图，进行与单机一样计算逻辑，当遇到数据同步算子时，执行步骤六；否则直到正向传播结束后，执行步骤七；

步骤六：数据同步算子的正向传播逻辑：每台服务器从其它服务器中同步节点的最新的值，回到步骤五；

步骤七：对单机模型逻辑训练完成后的每台服务器上的单机图神经网络上的节点进行损失计算；

步骤八：单机模型逻辑自动梯度反向传播：每台服务器上的单机图神经网络框架进行与单机一样反向传播求梯度逻辑，反向传播由单机图神经网络框架自动执行，当执行到数据同步算子的反向传播时，由单机图神经网络框架自动调用执行步骤九的逻辑；否则，直到反向传播结束，执行步骤十；

步骤九：数据同步算子反向传播中的自动梯度同步逻辑：将每台服务器上节点的梯度发送给节点所属的服务器，每台服务器将每个节点的本地梯度和其它服务器发送过来的梯度求和，作为本节点的梯度；

步骤十：所有服务器上的单机图神经网络框架进行参数梯度的同步并更新参数，回到步骤五进行下一轮训练的迭代，直至模型参数收敛，训练完成；

所述步骤三中，图划分将每个节点以及节点对应的某一方向的所有边划分到其中一台服务器上，这些节点称为专属节点；在划分结束之后，每台服务器将与所属其的专属节点有边相连却不属于其的节点也纳入该服务器的本地节点集，这些节点称为外部节点，专属节点和外部节点共同组成服务器的本地节点集。

2.根据权利要求1所述的一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，所述步骤二中，所有的数据同步操作以调用数据同步算子的方式来实行，在原有计算逻辑中所有关于图遍历计算算子的代码之前增加一行调用数据同步算子的代码。

3.根据权利要求1所述的一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，所述步骤四中，每台服务器均复制一份完整的图神经网络模型，由其中一台服务器的单机图神经网络框架初始化模型的参数，并将所有服务器上的参数同步为其中这台服务器的参数数值，使得所有服务器上参数数值相等。

4.根据权利要求1所述的一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，所述步骤五中，每台服务器上的单机图神经网络框架将所属其的该服务器的专属节点和相关的边以及该服务器的外部节点共同组成的图作为该服务器所要计算的图。

5.根据权利要求1所述的一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，所述步骤六中，每台服务器将在其本地的每个外部节点从该外部节点所属的服务器上同步该外部节点最新的值。

6.根据权利要求1所述的一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，所述步骤七中，每台服务器在其专属节点集中选择一部分节点进行损失计算，使得同一个节点的损失不会被不同服务器重复计算。

7.根据权利要求1所述的一种拓展单机图神经网络训练至分布式训练的方法，其特征在于，所述步骤九中，每台服务器将在其本地的每个外部节点上的梯度发送回该外部节点所属的服务器，再将这些在其本地的外部节点的梯度置为0；每台服务器收到由其它服务器发送过来的其专属节点的梯度后，将每个专属节点收到的梯度和该服务器自身通过单机逻辑计算得到的梯度相加，得到每个专属节点最终的梯度。