[发明专利]一种主从分布式图处理系统负载动态优化方法

摘要

本发明公开了一种主从分布式图处理系统负载动态优化方法，包括主计算节点的动态再划分控制步骤，工作计算节点中负载监控步骤和负载转移步骤。本发明不依赖于图数据的初始划分。工作节点在迭代执行时，根据主节点的指令执行动态再划分进行负载均衡，负载监控步骤监控各个计算节点的负载，并在每次迭代执行结束前发送到其他各个计算节点，同时负载转移步骤在每次迭代执行开始时，根据收到的其他节点的监控到的负载消息判断是否所在节点超载，并且确定目标转移节点和转移量，在这次迭代执行完时，将负载数据转移到目标节点，从而实现分布式图处理系统的动态负载均衡。实施本发明能有效的改善分布式图处理系统中存在的负载不均衡现象。

主权项

一种基于BSP模型的主从分布式图处理系统负载动态优化方法，其特征在于包括如下步骤：(1)初始化步骤：将需要进行计算的图数据上传到分布式图处理系统，确定分布式图处理系统需要执行的图计算操作；分布式图处理系统对载入的图数据进行图划分，图数据划分成多个子图数据后分别载入到各个计算节点；(2)初始负载计算步骤：各计算节点计算本节点子图数据的负载量；在通信阶段，将负载量发送给其它所有计算节点和主节点；所述负载量等于本节点活跃顶点数加活跃边数；(3)负载量判别步骤：各计算节点根据收到的其它计算节点负载量，判断自身是否超载，是则计算本节点负载并在通信阶段前转步骤(4)；否则继续计算本节点负载量，在通信阶段，将负载量发送给其他所有计算节点，转步骤(5)；(4)负载转移步骤：包括如下子步骤：(4.1)选择目标转移节点：对所有计算节点的负载量排序，生成负载排序表，根据各节点负载量决定其在排序表中的位置，负载量越多就越靠近表头，节点在排序表中的序号为i，则其目标转移节点序号映射为j，j＝K‑i+1,其中K是分布式图处理系统计算节点总数；(4.2)计算转移负载量Qi，j，Qi,j=Wi-Wj2]]>其中Wi、Wj分别表示计算节点i，j前一次计算操作的负载量，i为负载转出节点，j为目标转移节点，将Qi，j赋值给临时变量T；(4.3)计算节点中所有活跃顶点u的贡献值IOi,j(u)，IOi,j(u)＝Ii,j(u)+Oi,j(u)其中，Ii,j(u)和Oi,j(u)分别是在迭代时顶点u从目标转移节点j接收到的消息数和发送给目标转移节点j的消息数；当时，则顶点u的贡献值就为原来的IOi,j(u)，否则将顶点u的贡献值赋为0；其中IOi,j(u)是顶点u转移后的贡献值，IOi,i(u)是顶点u未转移的贡献值,λ是预设的转移门限值，取值范围为1.2‑1.4；对计算节点中所有活跃顶点进行从大到小排序，得到转移排序表；(4.4)判断是否T小于等于0且转移排序表中没有贡献值大于0的元素，若是则将转移顶点数以及本节点的负载信息在通信阶段发送到主节点，负载转移结束，进行步骤(5)；否则进行子步骤(4.5)；(4.5)从转移排序表中取出排名最高的活跃顶点u；计算其转移后减少的负载量Wi(u)，Wi(u)＝1+|AEi，j(u)|，其中，|AEi，j(u)|表示与活跃顶点u连接的活跃边集大小；(4.6)判断Wi(u)是否小于等于T，则进行子步骤(4.7)，否则进行子步骤(4.4)；(4.7)将活跃顶点u从计算节点i转移到目标计算节点j，将T‑Wi(u)值赋予T，进入步骤(4.4)；(5)动态再划分步骤：主节点计算所有计算节点在上一次迭代中转移的顶点数，判断转移顶点数是否小于预设的转移阈值：是则主节点向各个计算节点发送动态划分结束的指令，各计算节点收到主节点的动态划分停止指令，停止执行负载量计算和负载转移；否则发出继续负载优化指令，转步骤(3)。