[发明专利]一种应用于图学习领域的预训练模型的生成方法及装置

说明书

本发明公开了一种应用于图学习领域的预训练模型的生成方法及装置，包括：从第一图结构样本中确定第一节点并确定第一节点的第一样本子图，其中，第一图结构样本为第一训练样本中的任一个，第一图结构样本的各节点的属性与第一训练样本中第二图结构样本的各节点的属性不同，再确定第一节点的图基元标签向量和第一样本子图的初始表示向量，然后得到第一特征表示向量和得到第一节点的图基元预测向量，最后根据图基元预测向量和图基元标签向量，训练初始预训练模型，直至得到预训练模型。进而实现通过多个图结构样本得到预训练模型，且多个图结构样本的属性不同，以使预训练模型可以作为各属性的图结构的预训练模型。

技术领域

本发明涉及图学习领域，尤其涉及一种应用于图学习领域的预训练模型的生成方法及装置。

背景技术

图卷积神经网络通过聚集周围邻居节点的特征来学习图片中节点的表示向量，能够处理图片中节点分类和图片分类等下游任务。其中，图片可以作为表示数据的图结构，图结构在研究对象与对象之间的关联信息有着独特的优势，例如在生物化学领域中，分子可以被视为图结构，不同原子即为节点，通过化学键相连；在学术引用网络中，节点表示学者，学者间的合作为节点之间的关联信息，即图结构中的边；在电子商务领域，用户和商品可以构成图结构来进行个性化推荐。

然而，对不同的图结构来说，图结构中的节点所代表的语义是不同的，例如，在学术引用网络的图结构中，各节点表示学者，在社交网络的图结构中，节点还包括用户的兴趣爱好。在现有技术中，图卷积神经网络模型一般是通过数据集直接进行训练，并没有预训练过程，即使对图卷积神经网络模型进行的预训练，也仅可以通过单一属性或者某个独特领域中的一系列属性的图结构实现而得到预训练模型，但是得到的预训练模型也仅能用于对应的单一属性或者某个独特领域中的一系列属性的图结构，无法用于其他属性的图结构，即无法通过不同属性的图结构得到预训练模型，得到的预训练模型无法用于不同属性的结构进行训练得到最终模型。

因此，现需要一种模型预训练方法，可以通过各属性的图结构得到预训练模型，然后再由得到的预训练模型得到各属性的模型，加快模型训练效率。

发明内容

本发明实施例提供一种应用于图学习领域的预训练模型的生成方法及装置，用于实现通过各属性的图结构样本得到预训练模型，再由得到的预训练模型得到各属性的图神经网络模型，加快各属性的图神经网络模型训练效率。

第一方面，本发明实施例提供一种应用于图学习领域的预训练模型的生成方法，包括：

从第一图结构样本中确定第一节点并确定所述第一节点的第一样本子图；所述第一图结构样本为第一训练样本中的任一个；所述第一图结构样本的各节点的属性与所述第一训练样本中第二图结构样本的各节点的属性不同；

根据所述第一图结构样本，确定所述第一节点的图基元标签向量和所述第一样本子图的初始表示向量；

将所述第一样本子图的初始表示向量输入至初始预训练模型，得到第一特征表示向量；将所述第一特征表示向量输入至第一初始神经网络模型，得到所述第一节点的图基元预测向量；

根据所述图基元预测向量和所述图基元标签向量，训练所述初始预训练模型，直至得到所述预训练模型。

上述技术方案中，从多个图结构样本中确定节点，再得到各节点的样本子图，进而得到节点的图基元标签向量和样本子图的初始表示向量，其中，样本子图的特征表示向量表示了节点在图结构样本中的结构信息，再将样本子图的初始表示向量输入至初始预训练模型，得到特征表示向量，然后将特征表示向量输入至第一初始神经网络模型，得到各节点的图基元预测向量，最后根据所图基元预测向量和图基元标签向量，训练初始预训练模型，直至得到预训练模型。因为图基元表示节点在图结构样本中的结构信息，需要说明的是，多个图结构样本之间的节点属性不同，通过表示结构信息的特征表示向量与图基元向量得到预训练模型，实现通过各属性的图结构样本得到预训练模型，即该预训练模型可以用于各属性的图结构样本进行训练得到对应属性的图神经网络模型。