[发明专利]针对分布式图学习的数据融合方法及装置

说明书

本说明书实施例提供一种针对分布式图学习的数据融合方法及装置，用于通过分布式系统针对图数据的分布式图学习过程，分布式系统的单个设备预先分配有图数据的多个图节点以及相应的节点连接关系，其中，第一设备包括N个图节点以及M个镜像节点，单个镜像节点与N个图节点中的单个图节点互为邻居节点；在针对分布式图学习的数据融合过程中，第一设备一方面通过相互独立的多个镜像融合线程对M个镜像节点分别执行融合操作，并分别将镜像节点的镜像融合向量加入本地聚合数据序列，另一方面利用发送线程依次发送镜像融合向量，以供各个镜像节点的聚合过程互不依赖。这种方式可以提高分布式图学习过程中的数据融合效率。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及针对分布式图学习的数据融合方法及装置。

背景技术

图数据是一种描述各种实体之间关联关系的数据形式。图数据通常可以包括多个节点，各个节点分别对应各个业务实体。在业务实体具有预先定义关联属性的情况下，图数据的相应节点之间可以基于关联属性具有相应的关联关系。例如若干三元组表示的图数据中，三元组（a，r，b）表示节点a和节点b之间具有关联关系r。在形象化的图数据中，节点a和节点b通过点表示，节点a和节点b之间对应的关联关系r可以通过连接边表示。图数据通常可以通过图模型进行处理，即进行图学习。

图学习过程中，可以通过图模型处理图数据进行。图学习通常可以将图数据中各个节点的邻居节点信息融合到自身信息中，以考虑节点之间的相互影响。随着图学习技术的发展，图学习的应用也越来越广泛。在一些业务场景中，图数据的规模巨大，例如可以包括十亿级、百亿级的节点数量。针对巨大的节点规模，可以采用分布式图学习。即，将图数据分割存储在多个设备，然而，分布在不同设备上的节点之间，可能存在关联关系。则在将图数据中各个节点的邻居节点信息融合到自身信息的过程中，需要设备间的交互。

发明内容

本说明书一个或多个实施例描述了一种针对分布式图学习的数据融合方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种针对分布式图学习的数据融合方法，用于通过分布式系统针对图数据的分布式图学习过程，分布式系统的单个设备预先分配有所述图数据的多个图节点以及相应的节点连接关系，其中，第一设备包括N个图节点以及M个镜像节点，单个镜像节点与所述N个图节点中的单个图节点互为邻居节点；在针对分布式图学习的数据融合过程中，所述方法由所述第一设备执行，包括：通过相互独立的多个镜像融合线程对所述M个镜像节点分别执行以下融合操作：获取单个镜像节点的当前表征向量，其中，该单个镜像节点的当前表征向量由相应图节点所在设备提供；基于其当前表征向量及其在所述第一设备上的各个邻居节点的当前表征向量，确定该单个镜像节点的镜像融合向量，单个节点的表征向量用于描述相应图节点的属性信息；将所述镜像融合向量加入本地聚合数据序列；利用发送线程按顺序将所述本地聚合数据序列中已确定的镜像融合向量发送至相应镜像节点对应的图节点所在设备，以供相应图节点所在设备利用相应镜像融合向量确定针对相应图节点融合的属性信息，从而更新相应节点的当前表征向量。

在一个实施例中，所述图学习通过具有多层迭代结构的图模型处理所述图数据进行，所述融合操作对应所述图模型的单个层执行，在所述单个层是第一层的情况下，单个图节点的当前表征向量为由该单个图节点对应的实体的属性信息提取的特征向量，在所述单个层不是第一层的情况下，单个图节点的当前表征向量为对应于该单个图节点在前一层融合的属性信息的表征向量。

在一个实施例中，在单个镜像节点对应的图节点所在设备提供该图节点的当前表征向量的情况下，将该图节点记录至候选节点队列，所述候选节点队列用于存储本地镜像点或本地图节点的当前表征向量，并由各个融合线程按顺序单次获取单个当前表征向量。

在一个实施例中，所述单个镜像节点的镜像融合向量经由其在所述N个图节点中的邻居节点的当前表征向量的加和、求平均、加权求和、取中位数之一的方式确定。