[发明专利]用于大规模图的分布式并行PageRank算法

说明书

本发明提供了用于大规模图的分布式并行PageRank算法，该算法将目标图数据的顶点PageRank值计算平均分配给若干数量的计算线程，通过独立的控制线程对若干数量的计算线程进行控制，实现并行计算，为了防止多线程环境下的数据竞争，本算法增设了顶点互斥锁，确保不同顶点对象的累积信息量PR计算不会互相干扰，确保顶点PageRank值的准确性；计算线程的数量设置具体取决于目标图数据规模以及分布式硬件环境条件，用户可根据实际需求设置计算线程的数量达到快速进行大规模图数据顶点PageRank值计算，本发明可广泛应用于各种互联网重要度排序问题，充分支持应用于分布式硬件环境。

技术领域

本发明涉及互联网重要度排序领域，具体涉及用于大规模图的分布式并行PageRank算法。

背景技术

PageRank算法肇始于互联网领域，初始用于解决谷歌搜索引擎的网页排序问题，当搜索引擎根据检索词返回大量相关网页时，用户自然希望将“重要的”网页排在前面，而对网页进行排序首先面临的问题是如何定义网页的重要性。以网页为顶点、超链接为边将整个网络抽象为一张有向图，PageRank值是顶点重要程度的度量，通过网页(顶点)的PageRank值即可获得网页的排序结果。图是一种很广泛的抽象，PageRank计算仅与图的拓扑结构有关，时至今日，PageRank计算理论的日趋完善，应用范围也拓展至化学、生物、体育及人文社科领域。

计算PageRank值常使用传统的幂方法，幂方法以迭代π(k+1)＝Pπ(k)计算PageRank值，简单稳定，但无法消除不同迭代轮次间的依赖，不能够完全并行。随着互联网的发展及应用范围的拓展，图的规模越来越大，幂方法在面对大规模图时均存在性能瓶颈。

现有技术中公开了一种优化分布式PageRank算法通信过程的方法及装置的专利，该方法包括：依据分区计算将全图中的顶点和边划分给相应计算节点；其中，完成划分的顶点称为相应计算节点的主点，完成划分的边的一个顶点与边归属于相同的计算节点，若另一个顶点与边归属于不同的计算节点，则在所述相同的计算节点中创建与所述另一顶点对应的虚点；遍历各个计算节点中的主点，计算主点的PageRank值；将主点的预设比例的PageRank值通过一轮网络通信发送给与主点有对应关系的其他计算节点中的主点或虚点；迭代计算和网络通信直到满足停止迭代的预设条件；该专利对现有算法的存储消耗和通信次数进行了优化，缩短了整体计算所需的时间，提高了算法运行效率，但该专利方法通过主点和虚点实现分布式并行计算，存在对内存占用分配要求比较高，且计算量较大的问题。

发明内容

本发明提供用于大规模图的分布式并行PageRank算法，解决快速进行大规模图数据顶点PageRank值的分布式并行计算问题。

为了达到上述技术效果，本发明的技术方案如下：

用于大规模图的分布式并行PageRank算法，包括以下步骤：

S1：根据目标图数据规模以及分布式硬件环境条件，确定计算线程并行度K，并对目标图数据进行初始化处理，得到初始化变量和初始化列表；

S2：按照步骤S1得到的计算线程并行度K，启动的K个计算线程，然后启动控制线程，通过控制线程对K个计算线程进行控制，结合步骤S1得到的初始化变量和初始化列表，计算目标图数据中所有顶点对象的顶点累计信息量；

S3：根据步骤S2得到的所有顶点对象的顶点累计信息量，计算所有顶点对象的PageRank值，输出包含所有顶点对象PageRank值的PageRank向量。

本发明算法将目标图数据的顶点PageRank值计算平均分配给若干数量的计算线程，通过独立的控制线程对若干数量的计算线程进行控制，实现并行计算，计算线程的数量设置具体取决于目标图数据规模以及分布式硬件环境条件，用户可根据实际需求设置计算线程的数量达到快速进行大规模图数据顶点PageRank值计算，本发明可广泛应用于各种互联网重要度排序问题，充分支持应用于分布式硬件环境。