[发明专利]一种基于博弈的流图划分方法和系统

说明书

本发明涉及一种基于博弈的流图划分方法和系统，该方法包括：由一个或多个处理器对流图进行划分，一个或多个处理器被配置为：读取流图的未划分区域中含预设边数的边流作为子图；基于第一预划分模型将子图的边预划分到至少两个划分块中作为博弈过程的初始状态；通过博弈过程序贯地为子图的每条边选择其最优划分块直至博弈过程收敛；本发明提供的方法和系统可以利用流图的局部信息进行划分，划分过程不用将整个流图载入内存，具有很好的扩展性，同时支持动态图划分；本发明提供的划分方法和系统能基于博弈过程获得更好的划分结果。

技术领域

本发明涉及流图处理领域，尤其涉及一种基于博弈的流图划分方法和系统。

背景技术

图数据挖掘是当前研究的热门问题。从给定的图数据集找到求解如PageRank，联通分量(CC)，介数中心度(Betweeness centrality)等图性质，是图挖掘的主要研究问题。这些性质可以用来衡量图中点的重要程度，比如搜索引擎用PageRank做网页重要程度排名，介数中心度用来衡量用户在社交网络中影响力等，这些图性质都有广泛的应用场景。

普通单机受内存限制，不能处理大图数据。这是就需要借助分布式系统进行处理。在分布式系统中处理图数据，一个很自然的问题就是如何将图数据合理地布局在分布式系统中的各台机器上。这也是图划分问题的典型应用场景。提高分布式系统性能的两种重要方法就是：1、保证各台机器上的计算负载均衡(每台机器上边的数目尽可能一样多)；2、各台机器间的通信尽可能少(跨越不同机器的链接数尽可能少，详见图1示例说明)。两点对应到图划分的语境下，就是经典图划分问题的两个准则：1、各个划分块的边(顶点)尽可能一样多；2、跨越不同划分块的点(边)尽可能少。

然而经典的图划分问题，无论是边划分还是顶点划分，都是NP难问题。目前实际采用的划分方法都是启发式算法。这些算法按照是否需要将获得图的全局信息才能划分，又分为流式图划分和非流式图划分。非流式图划分方法需要将整个图都载入内存中，需要获得如顶点度数这类图的全局信息，才能划分。典型的非流式图划分如METIS。其基本思想是将图中多个顶点凝结为一个顶点，这样可以大大减少图中点的数目。然后在粗化后的图中采用复杂度较高的K.L.算法进行划分，最后将划分好的粗化图还原到原始图。虽然该方法具有较好的划分结果，但是除去图数据本身占用的内存外，METIS的粗化过程需要存放大量的中间结果。因此，该方法只适用于图数据集较小的情形，可扩展性较差。

流式图划分方法基于流处理模型，图通过边流或者顶点流(包括其邻接点)方式到达，对每条边(顶点)的划分只需要根据当前边(顶点)和已经到达的边(顶点)决定。具有很好的可扩展性，同时支持动态图(允许图动态的增加边或顶点)，基于顶点流的典型算法如LDG、FENNEL，基于边流的典型算法如HDRF。当前流式图划分方法的缺陷在于，每条边只计算一轮最小代价函数，就做出策略选择，这样获得的局部最优值是较差的。

发明内容

针对现有技术之不足，本发明提供了一种基于博弈的流图划分方法和系统，本发明能够规避非流式图划分方法内存占用大，可扩展性差的缺点，同时在流式划分过程中，通过博弈过程，充分利用当前轮中其它玩家的策略选择信息，即当前其他边和/或顶点被放置在哪个划分块中，从而更好地做出决策，达到更好的划分结果。

根据一个优选实施方式，一种基于博弈的流图划分方法，所述方法包括：

由一个或多个处理器对流图进行划分，所述一个或多个处理器被配置为：