[发明专利]一种主从分布式图处理系统负载动态优化方法

说明书

技术领域

本发明属于分布式图数据处理领域，更具体地，涉及基于BSP模型实现的分布式图处理系统。

背景技术

图是计算机科学中最常用的一类抽象数据结构，相对于传统的关系数据和XML数据库，图的表达能力更加丰富，因此，与图相关的应用几乎无处不在。可是随着大数据时代的到来，图的规模日益增大，在云计算环境中对图进行分布式处理，已经成为了新的研究趋势。因此也出现有大量的分布式图处理系统，主要都是基于BSP模型实现的类Pregel系统。BSP计算模型是同步计算模型，可以进行多个迭代循环执行，一个迭代包括计算、通信和同步三个步骤。BSP模型非常适合分布式图计算的多次迭代特性，因此，Google根据BSP模型开发了内部使用的分布式图处理模型Pregel。Pregel采用了以顶点为中心的方法，即顶点参与计算，顶点在执行过程中分为活跃态和非活跃态。图中的边不参与计算只用于传递消息。一次图算法执行会由多次迭代才能完成。对于非活跃态的顶点若收到了消息，则会被激活。同时Pregel使用主从结构进行分布式处理，主节点负责协调各个计算节点进行工作，计算节点则主要负责图任务计算。

图划分是在分布式图处理系统中进行图处理时极其重要的步骤，有效的图划分策略能够极大的提高图的处理效率。现有的图划分策略大多是在图数据载入计算节点前，根据图划分的原则：子图均衡以及子图之间的低连通性，进行一次初始划分，对于这类图划分策略我们称为静态图划分。然而，对图数据划分后进行分布式图处理时，根据执行的图算法(即图操作)的不同，图的迭代特点也不同(即各个计算节点中存在负载不均衡)。这是因为不同的图算法在各个迭代过程中并不需要对图中所有顶点数据进行处理。因此导致不同的图算法在执行时会有不同的负载行为，从而产生运行时的负载不均衡。然而静态的图划分算法难以在执行初期预测图的负载行为变化，因此一次静态的图划分并不能解决不同算法导致的运行时负载不均衡。

发明内容

针对以上提出的运行时负载不均衡问题，本发明提供了一种适用于分布式图处理场景的负载动态优化方法。首先，对图执行时的负载进行监控。根据各个计算节点的监控结果，根据全局平均负载确定超载节点，将一部分负载从超载节点转移到未超载节点，这一过程也称为负载转移。由于动态再划分本身会引起一定的计算和通信开销，所以需要对动态再划分本身进行控制，因此在主节点上还需要有动态再划分控制步骤。这一发明能有效的解决由图算法引起的负载不均衡问题，弥补静态划分的不足。

本发明提供的负载动态优化方法，包括分布式图处理系统中主节点的动态再划分控制步骤，以及工作节点中的负载监控和负载转移步骤。动态再划分控制步骤主要是自适应的控制动态再划分的执行与结束，以减少动态划分本身引起的开销。负载监控步骤和负载转移步骤位于工作节点，两者相辅相成，是动态划分的主要组成部分。这里的主节点与工作节点所处的物理机性能配置都是相同的。

所述的负载监控步骤用于监控分布式图处理时各个迭代过程的负载情况。工作节点的负载的由一次迭代中活跃顶点集以及活跃边集来确定，其中，活动顶点数(即活动顶点集的长度)是工作节点中需要调用顶点计算函数的次数，活跃边数(即活跃边集的长度)是工作节点中顶点计算函数需要处理的消息数，具体公式(1)如下：

其中，i为任一工作节点，AV_i为活跃顶点集，AE_i为活跃边集，K为计算节点数目。各个工作节点都将监控到的负载发送到其他所有节点，供下一次迭代工作节点确定自身是否超载以及超载后需要转移的负载量。注意，这里不将负载发送到主节点来进行计算的原因是，本发明针对都是基于BSP模型的图处理系统，每一次消息的发送只有在同步后进入到下一次迭代才能到达相应的消息目的地。若主节点进行超载判断以及转移目标节点的确定，此时，工作节点只能不进行任何计算而等待主节点计算完后在进入下一次迭代，才能接收主节点发送来的结果信息。这将导致更为严重的计算资源的浪费，所以我们将这些计算都在各个工作节点中进行。