[发明专利]基于大规模图数据集获取PageRank的方法及装置

说明书

本发明提供了一种基于大规模图数据集获取PageRank的方法及装置，其中方法包括：S1初始化graph；S2基于上一轮计算得到的graph进行各节点的PageRank值的计算，得到new graph；S3判断迭代是否完成，如果迭代完成，则执行S8，如果迭代未完成，则执行S4；S4释放上一轮graph缓存；S5判断总迭代次数是否能够被可配置参数整除，其中，可配置参数为迭代写入轮数，如果总迭代次数不能被可配置参数整除，则执行S6；如果总迭代次数能被可配置参数整除，则执行S7；S6将当前new graph进行缓存，返回执行S2；S7将当前new graph写入磁盘，返回执行S2；S8保存计算结果。

技术领域

本发明涉及数据计算技术领域，尤其涉及一种基于大规模图数据集获取PageRank的方法及装置。

背景技术

在数据量与日俱增的今天，大规模数据计算(Spark、Hadoop)已经是不得不面对的问题，特别是计算复杂度最高的图计算(Spark GraphX)，会消耗企业大量的计算资源。

目前在做上亿节点、十几亿边Graph的PageRank(网页级别，是Google排名运算法则(排名公式)的一部分，是Google用于用来标识网页的等级/重要性的一种方法，是Google用来衡量一个网站的好坏的唯一标准。)的有效计算时，要消耗400个CPU和1200G的内存，而通常一家普通企业的大数据集群配置大概是48个CPU和120G的内存，对于这些企业来说所拥有的计算资源是远远不够的，所以对于它们来说PageRank值是无法有效计算得到结果的，主要原因在于在资源配置不足的情况下，Spark GraphX在计算PageRank过程中RDD为维护血统依赖会导致资源的占用从而使得不必要的资源浪费，也变相的增加了计算成本。

参见图1，现有的Spark GraphX在小规模集群上计算超大数据集的PageRank算法的处理流程包括：1)初始化graph(即执行图初始化操作)；2)进入迭代；3)计算各节点PageRank值；4)释放上一轮graph缓存数据；5)对迭代完一轮的new graph进行缓存；6)进行下一轮迭代；7)结束迭代保存结果。此逻辑在资源足够(相应资源计算相应数据量)的情况下处理逻辑并没有问题，但并不是每次都有足够的资源去做计算，且对于图计算而言，消耗的资源随数据量的增长是指数级增加的，所以在计算资源不足的情况下，此计算逻辑会出现Spark RDD为维护血统工作引起的内存资源占用叠加导致计算资源浪费，最终出现的情况是下一轮迭代所触发维护血统工作叠加导致后轮迭代变慢，简而言之就是越往后迭代每一轮迭代所花费的时间越长，最终使得计算任务时间和计算结果不可控。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的基于大规模图数据集获取PageRank的方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种基于大规模图数据集获取PageRank的方法，包括：S1，初始化graph；S2，基于上一轮计算得到的graph进行各节点的PageRank值的计算，得到new graph；S3，判断迭代是否完成，如果迭代完成，则执行S8，如果迭代未完成，则执行S4；S4，释放上一轮graph缓存；S5，判断总迭代次数是否能够被可配置参数整除，其中，可配置参数为迭代写入轮数，如果总迭代次数不能被可配置参数整除，则执行S6；如果总迭代次数能被可配置参数整除，则执行S7；S6，将当前new graph进行缓存，返回执行S2；S7，将当前new graph写入磁盘，返回执行S2；S8，保存计算结果。

其中，初始化graph包括：初始化新的graph；或者加载旧的graph。

其中，n满足t＝n+1/n，且整除N，其中，t为总计算时间。

其中，n设置为奇数或者n设置为偶数。

其中，n为5。