[发明专利]一种面向动态图增量计算的均衡负载方法及系统

说明书

本发明公开了一种面向动态图增量计算的均衡负载方法及系统，包括：利用上轮迭代计算过程中顶点的度与顶点的初始化增量值以及顶点的收敛时间生成预测直方图；图形数据结构发生变化后，初始化图数据中所有顶点的状态值与增量值；在新一轮迭代计算开始之前，利用直方图以及新的顶点的度与初始化增量值预测各顶点对应的收敛时间；由各分区的从节点统计该分区所有顶点的负载情况并发送到主节点，由主节点调度均衡各分区的负载并将决策结果返回给各从节点；由从节点迁移分区的负载到目标分区或接收来自过载分区的负载。通过本发明可以在动态图形数据发生变化之后，新一轮迭代计算过程中各个分区的负载情况保持均衡，从而达到加快图形迭代计算的效果。

技术领域

本发明属于动态图计算技术领域，更具体地，涉及一种面向动态图增量计算的均衡负载方法及系统。

背景技术

在大数据时代，越来越多的应用依赖图形问题的建模与分析，并要求能够实时地在大规模动态的社会网络图上进行分析和计算。

增量计算技术能有效提高动态图的处理性能，在图数据不断变化的情况下，通过存储之前计算结果，当输入图形数据改变时，通过增量计算的初始化方法初始化顶点最新的状态值和增量值，以顶点数据的增量值作为消息转发到下一迭代对象来支持异步增量计算，能有效减少同步开销，同时能加快顶点收敛速度，缩短收敛时间。

由于图数据规模较大，需要将图数据划分为多个分区，各个分区在不同的worker上并行处理，由于每个分区顶点分布不同，以及动态数据变化的随机性，会存在各个分区负载不均衡的问题。目前解决负载均衡的方法主要有：(1)图划分策略：hash-partition、range-based partition、min-cut partition等；(2)work steal策略；(3)Mizan提出的动态负载均衡策略。简单的图划分策略hash-partition、range-based partition采用平均分配图的点或边到计算节点，不能解决不同的数据挖掘算法将在计算过程中产生不同程度的负载倾斜问题。Work steal策略在各个计算节点数据集分布均匀且计算节点计算性能相差甚微的情况下，不能获得较好的收益。资源相差动态负载均衡策略在BSP模式下动态监测每次superstep各个分区负载分布情况，由master判断负载是否发生倾斜并决策迁移方案，但运行时检测开销较大，需要支付较大的额外通信开销和同步时间。

发明内容

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种面向动态图增量计算的均衡负载方法及系统，由此解决目前负载均衡技术中存在的无法解决计算运行时负载倾斜的问题，以及优化运行时检测负载倾斜产生的额外通信开销和同步开销较大的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种面向动态图增量计算的均衡负载方法，包括：

(1)在分布式增量计算图形处理系统中，图G_k-1＝(V_k-1,E_k-1)经过一轮迭代计算后，对于收敛于状态利用上轮迭代计算过程中顶点的度与顶点的初始化增量值以及上轮迭代计算过程中顶点的收敛时间来生成预测直方图H^(k-1)，其中，V表示图顶点集合，E表示连接顶点边的集合，k表示第k次计算，下标i表示第i个顶点；

(2)若动态图的图形数据结构发生变化：G_k＝ΔG_k-1+G_k-1，则利用基于增量计算的初始化方法初始化所有顶点的状态值为并由顶点的邻接顶点的状态值得到顶点的初始化增量值为ΔG_k-1为增量图数据；

(3)在新一轮迭代计算开始之前，由顶点的度与顶点的增量计算顶点的负载因子，利用直方图H^(k-1)与顶点的负载因子预测顶点在新一轮迭代计算过程中对应的收敛时间其中，V_k表示新图G_k中的顶点集合；