[发明专利]一种面向动态图增量计算的均衡负载方法及系统

权利要求书

1.一种面向动态图增量计算的均衡负载方法，其特征在于，包括：

(1)在分布式增量计算图形处理系统中，图G_k-1＝(V_k-1,E_k-1)经过一轮迭代计算后，对于收敛于状态利用上轮迭代计算过程中顶点的度与顶点的初始化增量值以及上轮迭代计算过程中顶点的收敛时间来生成预测直方图H^(k-1)，其中，V表示图顶点集合，E表示连接顶点边的集合，k表示第k次计算，下标i表示第i个顶点；

(2)若动态图的图形数据结构发生变化：G_k＝ΔG_k-1+G_k-1，则利用基于增量计算的初始化方法初始化所有顶点的状态值为并由顶点的邻接顶点的状态值得到顶点的初始化增量值为ΔG_k-1为增量图数据；

(3)在新一轮迭代计算开始之前，由顶点的度与顶点的增量计算顶点的负载因子，利用直方图H^(k-1)与顶点的负载因子预测顶点在新一轮迭代计算过程中对应的收敛时间其中，V_k表示新图G_k中的顶点集合；

(4)服务于各个分区的从计算节点worker根据预测得到的顶点的收敛时间统计相应分区内所有顶点的负载分布情况，并发送到主控制节点master，由master统一调度均衡各个分区的负载并将决策结果返回给各个worker；

步骤(4)具体包括：

(4.1)服务于各个分区的worker根据预测得到的顶点的收敛时间统计相应分区内收敛时间相同的顶点个数，生成下标为收敛时间，值为收敛时间相同的顶点个数的统计数组W[R]，并将该数组发送到master；

(4.2)master收集所有分区发送的统计数组，找到最慢收敛时间以为间隔将区间分为τ等分：其中，τ为粒度因子；

(4.3)重新统计每个数组W_j[R]位于各个区间的顶点数目，得到区间统计数组W'_j[τ]，其中，W'_j[τ]的下标为对应区间，值为收敛时间在对应区间内的顶点个数，W_j[R]表示第j个分区对应的统计数组；

(4.4)根据区间统计数组W'_j[τ]，master计算第j个分区P_j在时间区间内的倾斜因子其中，r为顶点收敛时间区间，为r时间区间内所有分区平均负载情况，W'_j[r]为分区P_j在r时间区间内的负载情况；

(4.5)master根据倾斜因子判断各个分区是否在时间区间r内出现负载倾斜，同时决策负载迁移方向，以及迁移负载数量；

(4.6)master将决策结果返回给各个分区；

(5)由各个worker根据master的决策结果迁移分区的负载到目标分区或接受来自过载分区的负载。

2.根据权利要求1所述的方法，其特征在于，步骤(1)具体包括：

(1.1)图G_k-1＝(V_k-1,E_k-1)经过一轮迭代计算，对于收敛于状态其中，V表示图顶点集合，E表示连接顶点边的集合，k表示第k次计算，下标i表示第i个顶点；

(1.2)利用顶点的度与初始化增量值来定义顶点的负载因子其中，α与β为预设值；

(1.3)根据顶点的负载因子与顶点在历史迭代计算的收敛时间生成预测直方图H^(k-1)，其中，直方图H^(k-1)以负载因子为横坐标，历史迭代计算结果为纵坐标。

3.根据权利要求2所述的方法，其特征在于，步骤(3)具体包括：

(3.1)对根据顶点的度与顶点的增量值来计算顶点的负载因子其中，α与β为预设值；

(3.2)利用直方图H^(k-1)与顶点的负载因子预测顶点在新一轮迭代计算过程中对应的收敛时间