[发明专利]一种链接分析的计算方法和装置及系统

权利要求书

1.一种链接分析的计算方法，其特征在于，包括：

处理机从分布式文件系统中获取管理服务器预处理生成的第一子地图数据，所述第一子地图数据包括第一节点的身份识别码ID和所述第一节点的边所链接的目标节点的ID；

所述处理机在第一超级步super step中对所述第一子地图数据中的每一个目标节点进行权值分发，针对所述第一子地图数据中的每一个目标节点分别生成消息，所述消息包括所述处理机在第一super step中为所述第一子地图数据中的每一个目标节点分发的权值；

所述处理机将在所述第一super step中对所述第一子地图数据中的每一个目标节点分别生成的消息存储到所述分布式文件系统中；

其中，所述处理机将在所述第一super step中对所述第一子地图数据中的每一个目标节点分别生成的消息存储到所述分布式文件系统中，包括：

所述处理机将在所述第一super step中每生成一个消息后，就将生成的消息留存在所述处理机的内存中；

当所述处理机的内存中留存的消息数量达到预置的消息记录数时，所述处理机将所述内存中留存的消息发送到所述处理机的本地数据缓冲区，所述本地数据缓冲区中还存储有所述处理机对第二子地图数据中的每个目标节点分别生成的消息，所述第二子地图数据包括第二节点的ID和所述第二节点的边所链接的目标节点的ID；

当所述本地数据缓冲区中存储的消息超过容量门限时，所述处理机将所述本地数据缓冲区中存储的消息批量存储到所述分布式文件系统中。

2.根据权利要求1所述的方法，其特征在于，所述处理机将所述内存中留存的消息发送到所述处理机的本地数据缓冲区之后，还包括：

所述处理机将所述本地数据缓冲区中对相同目标节点分别生成的消息进行合并和压缩。

3.根据权利要求1所述的方法，其特征在于，所述第一子地图数据中还包括：所述第一节点的边所链接的目标节点中属于悬挂dangling节点的目标节点；

所述处理机在第一超级步super step中对所述第一子地图数据中的每一个目标节点进行权值分发之后，还包括：

所述处理机将对属于dangling节点的目标节点分发的权值进行合并，得到所述第一节点在所述第一super step中对应的dangling分数；

所述处理机将所述第一节点在所述第一super step中对应的dangling分数存储到所述分布式文件系统中，以使所述管理服务器通过所述分布式文件系统获取到在完成所述第一super step的计算后所述第一节点对应的dangling分数。

4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

所述处理机监测所述分布式文件系统中所述第一节点对应的源节点是否为所述第一节点生成有消息，所述第一节点为所述源节点的目标节点；

若所述源节点为所述第一节点生成有消息，所述处理机从所述分布式文件系统中获取所述源节点为所述第一节点生成的消息；

所述处理机对所有源节点为所述第一节点分发的权值进行合并，得到所述第一节点的权值。

5.根据权利要求4所述的方法，其特征在于，所述处理机对所有源节点为所述第一节点分发的权值进行合并，包括：

所述处理机对每N个源节点为所述第一节点分发的权值进行合并后，备份当前得到的所述第一节点的权值，并记录下已经处理过的源节点的ID，所述N为自然数。

6.根据权利要求1所述的方法，其特征在于，所述处理机将在所述第一super step中对所述第一子地图数据中的每一个目标节点分别生成的消息存储到所述分布式文件系统中之后，还包括：

所述处理机监测超级步的轮次信息是否发生更新；

若所述超级步的轮次信息从所述第一super step更新为第二super step，所述处理机在第二super step中对所述第一子地图数据中的每一个目标节点进行权值分发，针对所述第一子地图数据中的每一个目标节点分别生成消息，并将生成的消息存储到所述分布式文件系统中。