[发明专利]一种应用于图学习领域的预训练模型的生成方法及装置

权利要求书

1.一种应用于图学习领域的预训练模型的生成方法，其特征在于，包括：

从第一图结构样本中确定第一节点并确定所述第一节点的第一样本子图；所述第一图结构样本为第一训练样本中的任一个；所述第一图结构样本的各节点的属性与所述第一训练样本中第二图结构样本的各节点的属性不同；

根据所述第一图结构样本，确定所述第一节点的图基元标签向量和所述第一样本子图的初始表示向量；

将所述第一样本子图的初始表示向量输入至初始预训练模型，得到第一特征表示向量；将所述第一特征表示向量输入至第一初始神经网络模型，得到所述第一节点的图基元预测向量；

根据所述图基元预测向量和所述图基元标签向量，训练所述初始预训练模型，直至得到所述预训练模型。

2.如权利要求1所述的方法，其特征在于，从第一图结构样本中确定第一节点并确定所述第一节点的第一样本子图，包括：

随机选取所述第一图结构样本中的节点作为所述第一节点；

根据所述第一图结构样本中节点间的连接关系，通过重启随机游走策略算法得到所述第一节点的第一样本子图。

3.如权利要求1所述的方法，其特征在于，根据所述第一图结构样本，确定所述第一节点的图基元标签向量，包括：

根据所述第一图结构样本中节点间的连接关系，统计所述第一节点的各预设类型的图基元的数量，根据所述各预设类型的图基元的数量得到所述第一节点的图基元标签向量。

4.如权利要求1所述的方法，其特征在于，根据所述第一图结构样本，确定所述第一样本子图的初始表示向量，包括：

根据下述公式(1)得到所述第一样本子图的初始表示向量；

I-(K^-1/2MK^-1/2)＝UΛU^T………………………………………………(1)；

其中，I为单位矩阵；K为第一节点在第一图结构样本中的度矩阵；M为第一节点在第一图结构样本中的邻接矩阵；U为第一样本子图的初始表示向量。

5.如权利要求1所述的方法，其特征在于，根据所述图基元预测向量和所述图基元标签向量，训练所述初始预训练模型，直至得到所述预训练模型，包括：

根据所述图基元预测向量和所述图基元标签向量，通过下述公式(2)确定出向量差异值；

其中，V为预设值；c_u为第一节点的图基元标签向量；f(G'u)为第一节点的图基元预测向量；G为第一图结构样本；L为所述向量差异值；

根据所述向量差异值，更新所述初始预训练模型和所述第一初始神经网络模型；直至所述向量差异值满足设定条件，得到所述预训练模型。

6.如权利要求1至5任一项所述的方法，其特征在于，得到所述预训练模型之后，还包括：

构建初始模型，所述初始模型包括所述预训练模型和第二初始神经网络模型；

针对第二训练样本中的任一第三图结构样本，将所述第三图结构样本输入所述预训练模型，得到第二特征表示向量；将所述第二特征表示向量输入至所述第二初始神经网络模型，得到所述第三图结构样本的预测值；所述第二训练样本中的各图结构样本的节点具有相同属性；

根据所述预测值和所述第三图结构样本的标签值，训练所述初始模型，直至符合训练结束条件。

7.如权利要求6所述的方法，其特征在于，根据所述预测值和所述第三图结构样本的标签值，训练所述初始模型，包括：

根据所述预测值和所述第三图结构样本的标签值，更新所述第二初始神经网络模型；或

根据所述预测值和所述第三图结构样本的标签值，更新所述预训练模型和所述第二初始神经网络模型。