[发明专利]基于局部迭代的MapReduce模型的图结点的权威值计算方法

权利要求书

1.一种基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于，包括下述步骤：

步骤a，数据预处理与子图划分，采取随机的划分方式和基于社团结构的划分方式来进行子图的划分；

步骤b，迭代执行MapReduce任务进行PageRank计算，Map阶段对各个子图进行独立的基于内存的PageRank计算，Reduce阶段reduce函数将各个子图产生的新的权威值按照结点ID进行归约求和，得到最终的结点的权威值；

步骤c，算法收敛检测，当数据集中的超过给定阈值的结点的权威值不再发生变化时，即算法收敛。

2.如权利要求1所述的基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于：

所述步骤a中，划分的各个子图的大小一致或尽量均衡。

3.如权利要求1所述的基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于：

所述步骤a中，随机的划分方式包括对图的邻接表进行水平划分和垂直划分相结合的划分方式。

4.如权利要求1所述的基于局部迭代的MapReduce模型的图结点的权威值计算方法，其特征在于：

步骤b中，所述迭代执行MapReduce任务进行PageRank计算，Map阶段对各个子图进行独立的基于内存的PageRank计算，具体包括：

把子图作为map函数输入的单位,根据公式(3),每一个子图的所有结点完成一次PageRank迭代的权威值传播；虽然各个子图之间存在链接关系,子图中结点的权威值计算可以并行进行计算；每个子图的数据结构包括该子图中的结点ID，该结点在子图中的邻居以及该结点的出度；Mapper缓存在mapper初始化时从HDFS文件系统读取上一次迭代该mapper处理的所有子图所对应的权威值表；

Ri(u)=(1-d)+d×Σj=1kΣv∈Bu(j)Ri-1(v)Nv---(3)]]>

其中B_u(j)表示结点u的邻居结点中出现在子图j中的部分,d为随机选择下一个访问结点的概率，N_v为结点v的出度。