[发明专利]一种链接分析的计算方法和装置及系统

说明书

本发明实施例公开了一种链接分析的计算方法和装置及系统，用于减少对内存的占用，数据计算成本较低。本发明实施例方法包括：处理机从分布式文件系统中获取管理服务器预处理生成的第一子地图数据，第一子地图数据包括第一节点的身份识别码ID和第一节点的边所链接的目标节点的ID；处理机在第一超级步super step中对第一子地图数据中的每一个目标节点进行权值分发，针对第一子地图数据中的每一个目标节点分别生成消息，消息包括处理机在第一super step中为第一子地图数据中的每一个目标节点分发的权值；处理机将在第一super step中对第一子地图数据中的每一个目标节点分别生成的消息存储到分布式文件系统中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种链接分析的计算方法和装置及系统。

背景技术

随着互联网技术的飞速发展，搜索引擎因其能够在海量的网络资源中为用户找到所需的信息而越来越受到重视。其中，基于链接分析的搜索引擎因其准确率较高，日益受到用户的欢迎。

目前，链接分析对整个网页搜索起非常重要的作用。链接分析主要的功能是依据网页之间的链接关系，网页的锚文本等信息，评价网页的重要性（或称权威性），通过对网页的评价会对网页搜索最终结果的排序产生影响。

现有技术中存在一种适用于大规模图计算的链接分析计算方法，适用于大规模图计算的系统Pregel，主要用于Page Rank和路径计算，由于pregel目前的计算状态都是常驻内存的，对于规模继续增大的图计算对内存的要求越来越大，这种基于全内存的计算系统在内存资源不够或者数据量特别大的时候，并不适用，数据计算成本比较高。

发明内容

本发明实施例提供了一种链接分析的计算方法和装置及系统，用于减少对内存的占用，数据计算成本较低。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种链接分析的计算方法，包括：

处理机从分布式文件系统中获取管理服务器预处理生成的第一子地图数据，所述第一子地图数据包括第一节点的身份识别码ID和所述第一节点的边所链接的目标节点的ID；

所述处理机在第一超级步super step中对所述第一子地图数据中的每一个目标节点进行权值分发，针对所述第一子地图数据中的每一个目标节点分别生成消息，所述消息包括所述处理机在第一super step中为所述第一子地图数据中的每一个目标节点分发的权值；

所述处理机将在所述第一super step中对所述第一子地图数据中的每一个目标节点分别生成的消息存储到所述分布式文件系统中。

第二方面，本发明实施例还提供另一种链接分析的计算方法，包括：

管理服务器将地图数据划分为多个子地图数据，其中，每个子地图数据包括一个源节点的ID和所述源节点的边所链接的目标节点的ID；

所述管理服务器将所述多个子地图数据存储到分布式文件系统；

所述管理服务器监测每个处理机是否已经根据所述子地图数据完成第一超级步super step的计算。

第三方面，本发明实施例还提供一种处理机，包括：

子地图获取模块，用于从分布式文件系统中获取管理服务器预处理生成的第一子地图数据，所述第一子地图数据包括第一节点的身份识别码ID和所述第一节点的边所链接的目标节点的ID；

权值分发模块，用于在第一超级步super step中对所述第一子地图数据中的每一个目标节点进行权值分发，针对所述第一子地图数据中的每一个目标节点分别生成消息，所述消息包括所述处理机在第一super step中为所述第一子地图数据中的每一个目标节点分发的权值；