[发明专利]一种用于分布式图计算的图分割划分方法

摘要

针对现有图分割方法对大规模图计算进行图分割划分时开销过大的技术问题，本发明提供了一种用于分布式图计算的图分割划分方法，基于开源框架PowerLyra，首先作为输入的图数据按照目标点哈希将边分散到各个节点，然后各节点在分布式框架上同步并行处理分布到其节点上的边，根据需要执行相应的分布式算法。本发明提出了“包”的概念，包是指局部性较高的部分边的集合，其最大值是可修改的，通过包将数据局部性特性引入图划分的计量标准，使划分的子图具有局部性，充分利用数据局部性原理，有效减少顶点的镜像顶点的数目，同时也保证了节点间的负载均衡，减少了分布式系统中的通信开销，提高大规模图相关应用的处理效率，提高分布式图计算的性能。

主权项

1.一种用于分布式图计算的图分割划分方法，其特征在于，包括以下步骤：步骤1 按照目标点哈希将边分散到各个节点；每个节点均设置各自的包、当前处理点队列、待处理点队列；将各个节点的包、当前处理点队列、待处理点队列初始化为空；其中，边是输入的图数据的基本单位，格式为三元组(源点，目标点，权值)；包是指局部性较高的部分边的集合，其最大值是可修改的；将边加入包即是将该边置于该包所在节点上；顶点是对实体的抽象，边表示两个实体以及实体之间的关系，源点表示边的起始的顶点，权值表示边内两个实体之间的关系，目标点表示从源点出发所指向的目标顶点；处理完毕是指以该顶点为源点或者目标点的边均被访问过；步骤2 各节点同步并行处理分布到其节点上的边，每个节点的处理流程完全相同，其中一个节点的处理流程如下：步骤2.1 判断节点是否存在未访问过的边，如果是，取一条未被访问的边加入当前包，将其目标点加入当前处理点队列，将其源点加入待处理点队列，转步骤2.2；否则，说明该节点没有未被访问过的边，该节点存储的数据被处理完毕，检查是否所有节点的数据都被处理完毕，如果是，则转到步骤3；否则，等待所有节点的数据都被处理完毕，转步骤3；步骤2.2 判断当前包中的边的数目是否达到最大值，如果达到最大值，转步骤2.3，如果没有达到最大值，转到步骤2.4；步骤2.3 清空当前处理点队列和待处理点队列，清空当前包，转到步骤2.1；步骤2.4 判断当前处理点队列是否存在未处理完毕的顶点，如果存在则转到步骤2.5，否则转到步骤2.6；步骤2.5 取一个未处理完毕的顶点，将一条以该顶点为源点或目标点的未访问过的边加入当前包，如果该顶点为源点，将对应的目标点加入待处理点队列，转到步骤2.2；如果该顶点为目标点，将对应的源点加入待处理点队列，转到步骤2.2；步骤2.6 如果待处理点队列是空，则转到步骤2.3，否则将将待处理点队列赋值给当前处理点队列，同时清空待处理点队列，转到步骤2.4；步骤3 结束。