[发明专利]一种用于分布式图计算的图分割划分方法

说明书

针对现有图分割方法对大规模图计算进行图分割划分时开销过大的技术问题，本发明提供了一种用于分布式图计算的图分割划分方法，基于开源框架PowerLyra，首先作为输入的图数据按照目标点哈希将边分散到各个节点，然后各节点在分布式框架上同步并行处理分布到其节点上的边，根据需要执行相应的分布式算法。本发明提出了“包”的概念，包是指局部性较高的部分边的集合，其最大值是可修改的，通过包将数据局部性特性引入图划分的计量标准，使划分的子图具有局部性，充分利用数据局部性原理，有效减少顶点的镜像顶点的数目，同时也保证了节点间的负载均衡，减少了分布式系统中的通信开销，提高大规模图相关应用的处理效率，提高分布式图计算的性能。

技术领域

本发明属于分布式图计算领域，特别是一种用于分布式图计算的图分割划分方法。

背景技术

目前在世界范围内研发的分布式图计算框架有很多，主要包括了图划分和图计算两个部分。图划分是指按照一定策略，将大规模的图数据分发到集群内的各个节点上，图计算部分则是指根据实际应用的需要，对图进行分布式的运算。

早期的有卡耐基大学的PowerGraph，它将图划分从边分割引入到点分割的时代。在此之前，图划分遵循的原则是每个点只存在于一个节点上，与这个点相关的所有边都被存储在该节点上，每条边会被存储两次。在实际应用中，会存在与一个点相关的边占很大的比例，这会导致较大的负载不均，严重影响计算效率。点分割是指点可以被划分到多个节点上，这种方式每条边只会被存储一次。PowerGraph提供的图划分策略包括了一维划分、二维划分等方法。一维划分是指按照每条边的源点或者目标点的哈希值，将边分发到不同的节点。二维划分是按照每条边的源点的哈希值和目标点的哈希值将边分发到不同的节点。

近期的有清华大学的Gemini，与其他分布式图计算框架不同，它是一种综合性划分方法即hybrid划分方法，提供了两种计算的模式，根据系统状态的不同而进行动态切换，数据处理的速度，提升了系统的性能。

现有的分布式图计算框架提供的图划分方法都没有考虑到数据局部性的原理，性能最好的hybrid划分方法只保证了节点间的负载均衡，并没有考虑数据局部性的原理。点分割中，每个顶点会存在于数个节点中，选取其中的一个点作为主顶点，其余顶点作为镜像顶点，并且称主顶点所在的节点存储了该顶点。在几乎所有的实际计算中，镜像顶点需要和主顶点进行通信，这就存在一部分的通信开销。传统的方法并没有针对这部分的通信开销进行优化，只关注了节点间的存储负载的均衡。

发明内容

针对现有图分割方法对大规模图计算进行图分割划分时开销过大的技术问题，本发明基于大数据的时代背景，为了满足大规模图数据处理的需要，提供了一种用于分布式图计算的图分割划分方法，简称TopoX划分方法，TopoX划分方法基于开源框架PowerLyra，首先作为输入的图数据被分散到各个节点，从各个节点上输入到整个分布式框架中进行处理。每个节点按照一定的图分割方法将每条边分散到各个节点上，并根据需要执行相应的分布式算法。本发明充分利用数据局部性进行图划分，有效减少顶点的镜像顶点的数目，同时也保证了节点间的负载均衡，从而降低了计算过程中的通信开销，提升了整个图计算框架的执行运算的效率，可以对符合标准的大规模的图数据进行高效的处理。

具体技术方案如下：

一种用于分布式图计算的图分割划分方法，包括以下步骤：

1.按照目标点哈希将边分散到各个节点；每个节点均设置各自的包、当前处理点队列、待处理点队列；将各个节点的包、当前处理点队列、待处理点队列初始化为空；

其中，边是输入的图数据的基本单位，格式为三元组(源点，目标点，权值)；包是指局部性较高的部分边的集合，其最大值是可修改的；将边加入包即是将该边置于该包所在节点上；顶点是对实体的抽象，边表示两个实体以及实体之间的关系，源点表示边的起始的顶点，权值表示边内两个实体之间的关系，目标点表示从源点出发所指向的目标顶点；处理完毕是指以该顶点为源点或者目标点的边均被访问过；