[发明专利]一种基于图数据的分布式计算方法及装置

说明书

本发明公开了一种基于图数据的分布式计算方法及装置，包括：在接收到对当前图数据的计算请求时，将所述当前图数据传递给预设的图数据计算模型，其中，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建；所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，其中，所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。上述过程中，所述预设的图计算模型中基于BSP模型实现对每个超步的计算，基于GAS模型实现对每个超步中计算过程的进一步细分，增加了模型计算的并发性和可扩展性，基于目标计算模式进行计算，目标计算模式可以有不同的选择，进一步增加了计算过程的可扩展性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于图数据的分布式计算方法及装置。

背景技术

海量数据由于其数据类型复杂，数据多源异构，为了更好的开展大规模海量数据的相关计算和应用，开展分布式部署、高性能并行处理、动态图计算、搭建大规模图数据处理计算模型系统等显得尤为必要，无论是从原理上还是实践上都是对大规模海量数据进行加工处理的必要环节，从而实现多样化模式，使得平台接入体系达到数据良好的兼容性，为能源工业云网中电商数据、电工装备智慧互联体系与应用提供更好的规范与机制。

现有技术中，基于MapReduce模型实现分布式计算，MapReduce模型是一种编程模型，用于大规模数据集(大于1TB)的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上，但是MapReduce模型可扩展性差，不能进行扩展。

发明内容

有鉴于此，本发明提供了一种基于图数据的分布式计算方法及装置，用以解决现有技术中基于MapReduce模型实现分布式计算，MapReduce模型是一种编程模型，用于大规模数据集(大于1TB)的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上，但是MapReduce模型可扩展性差，不能进行扩展的问题。具体方案如下：

一种基于图数据的分布式计算方法，包括：

在接收到对当前图数据的计算请求时，将所述当前图数据传递给预设的图数据计算模型，其中，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建；

所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，其中，所述目标计算模式为同步计算模式、异步计算模式和混合计算模式中的一种。

上述的方法，可选的，所述预设的图数据计算模型基于BSP计算模型和GAS计算模型进行构建包括：

获取所述BSP计算模型中的各个超步，其中，每个超步包括：计算过程、通讯过程和栅栏同步过程；

将所述计算过程依据所述GAS计算模型划分为负责提取消息的信息收集阶段，负责基于收集消息进行本地处理的应用节点和负责发送新消息的分发阶段。

上述的方法，可选的，在所述目标计算模式为同步计算模式的情况下，所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，包括：

采用同步的控制和数据流将所述当前图数据基于迭代执行；

当前顶点的顶点值基于上一轮领接顶点值进行计算；

将所述顶点值基于消息同步给备份节点。

上述的方法，可选的，在所述目标计算模式为混合计算模式的情况下，所述预设的图数据计算模型基于目标计算模式对所述当前图数据进行分布式计算，包括：

遍历所述预设计算模型中被激活的顶点，基于同步模式的顶点调度对所述被激活的顶点进行计算；

在计算过程中采用异步消息传递以使当前被激活的顶点基于领接顶点值进行分布式计算。