[发明专利]一种主从分布式图处理系统负载动态优化方法

权利要求书

1.一种基于BSP模型的主从分布式图处理系统负载动态优化方法，其特征在于包括如下步骤：

(1)初始化步骤：将需要进行计算的图数据上传到分布式图处理系统，确定分布式图处理系统需要执行的图计算操作；分布式图处理系统对载入的图数据进行图划分，图数据划分成多个子图数据后分别载入到各个计算节点；

(2)初始负载计算步骤：各计算节点计算本节点子图数据的负载量；在通信阶段，将负载量发送给其它所有计算节点和主节点；所述负载量等于本节点活跃顶点数加活跃边数；

(3)负载量判别步骤：各计算节点根据收到的其它计算节点负载量，判断自身是否超载，是则计算本节点负载并在通信阶段前转步骤(4)；否则继续计算本节点负载量，在通信阶段，将负载量发送给其他所有计算节点，转步骤(5)；

(4)负载转移步骤：包括如下子步骤：

(4.1)选择目标转移节点：对所有计算节点的负载量排序，生成负载排序表，根据各节点负载量决定其在排序表中的位置，负载量越多就越靠近表头，节点在排序表中的序号为i，则其目标转移节点序号映射为j，j＝K-i+1,其中K是分布式图处理系统计算节点总数；

(4.2)计算转移负载量Q_i，j，

Qi,j=Wi-Wj2]]>

其中W_i、W_j分别表示计算节点i，j前一次计算操作的负载量，i为负载转出节点，j为目标转移节点，将Q_i，j赋值给临时变量T；

(4.3)计算节点中所有活跃顶点u的贡献值IO_i,j(u)，

IO_i,j(u)＝I_i,j(u)+O_i,j(u)

其中，I_i,j(u)和O_i,j(u)分别是在迭代时顶点u从目标转移节点j接收到的消息数和发送给目标转移节点j的消息数；

当时，则顶点u的贡献值就为原来的IO_i,j(u)，否则将顶点u的贡献值赋为0；其中IO_i,j(u)是顶点u转移后的贡献值，IO_i,i(u)是顶点u未转移的贡献值,λ是预设的转移门限值，取值范围为1.2-1.4；

对计算节点中所有活跃顶点进行从大到小排序，得到转移排序表；

(4.4)判断是否T小于等于0且转移排序表中没有贡献值大于0的元素，若是则将转移顶点数以及本节点的负载信息在通信阶段发送到主节点，负载转移结束，进行步骤(5)；否则进行子步骤(4.5)；

(4.5)从转移排序表中取出排名最高的活跃顶点u；计算其转移后减少的负载量W_i(u)，W_i(u)＝1+|AE_i，j(u)|，其中，|AE_i，j(u)|表示与活跃顶点u连接的活跃边集大小；

(4.6)判断W_i(u)是否小于等于T，则进行子步骤(4.7)，否则进行子步骤(4.4)；

(4.7)将活跃顶点u从计算节点i转移到目标计算节点j，将T-W_i(u)值赋予T，进入步骤(4.4)；

(5)动态再划分步骤：主节点计算所有计算节点在上一次迭代中转移的顶点数，判断转移顶点数是否小于预设的转移阈值：是则主节点向各个计算节点发送动态划分结束的指令，各计算节点收到主节点的动态划分停止指令，停止执行负载量计算和负载转移；否则发出继续负载优化指令，转步骤(3)。

2.根据权利要求1所述的方法，其特征在于所述步骤(3)负载量判别中，计算节点判断自身是否超载包括如下子步骤：

(1)根据收到的各个计算节点负载信息，计算系统平均负载：系统平均负载＝Σ所有计算节点负载量/计算节点总数；

(2)将本节点负载量与系统平均负载比较，负载量超过平均负载的110％-130％及以上为超载；否则为不超载。