[发明专利]一种去重方法及系统

权利要求书

1.一种去重方法，其特征在于，包括：获取存储于Hadoop集群系统中的任意一个或多个节点中，或者分布于任意网络资源中的URL数据；

按照所述Hadoop集群系统的映射框架中所指定的输入类格式，对获得的URL数据进行映射处理；

按照所述Hadoop集群系统的归约框架中指定的类格式，对所述映射处理的结果进行归约处理；

其中，所述映射处理在所述Hadoop集群系统的一个或多个节点中执行，所述归约处理在所述Hadoop集群系统的一个或多个节点中执行，所述映射处理和所述归约处理分别在所述Hadoop集群系统的一个或多个节点中并发、或顺序执行。

2.根据权利要求1所述的去重方法，其特征在于，所述映射处理所在节点与所述归约处理所在节点相同；或者，

所述映射处理所在节点与所述归约处理所在节点不同。

3.根据权利要求1或2所述的去重方法，其特征在于，所述映射处理包括：判断所述获得的URL数据是否已被采集，如果已被采集，则写入中间数据文件中；否则，根据所述获得的URL数据所对应的原始网页中的链接，计算采集权值，并将所述获得的URL数据标记为已采集状态。

4.根据权利要求1或2所述的去重方法，其特征在于，所述归约处理包括：将所述映射处理的结果放在同一个归约任务中批量执行。

5.根据权利要求3所述的去重方法，其特征在于，所述执行映射处理的节点的数量为预先设置。

6.根据权利要求4所述的去重方法，其特征在于，所述执行归约处理的节点的数量为预先设置。

7.一种去重系统，其特征在于，包括：

数据获取设备，用于获取存储于Hadoop集群系统中的任意一个或多个节点中，或者分布于任意网络资源中的URL数据；

映射处理设备，用于按照所述Hadoop集群系统的映射框架中指定的输入类格式，对获得的URL数据进行映射处理；

归约处理设备，用于按照所述Hadoop集群系统的归约框架中指定的类格式，对所述映射处理的结果进行归约处理，归约处理的结果为对URL去重的结果；

其中，所述映射处理在所述Hadoop集群系统的一个或多个节点中执行，所述归约处理在所述Hadoop集群系统的一个或多个节点中执行，所述映射处理和所述归约处理分别在所述Hadoop集群系统的一个或多个节点中并发、或顺序执行。

8.根据权利要求7所述的去重系统，其特征在于，所述映射处理和所述归约处理在所述Hadoop集群系统的相同的节点中执行或、所述映射处理和所述归约处理在所述Hadoop集群系统的不同的节点中执行。

9.根据权利要求7所述的去重系统，其特征在于，所述映射处理设备具体用于：

判断获得的URL数据是否已被采集，如果已被采集，则写入中间数据文件中；否则根据所述URL数据所对应的原始网页中的链接，计算采集权值，并将所述URL数据标记为已采集状态。

10.根据权利要求7或9所述的去重系统，其特征在于，通过参数设置执行所述映射处理的节点的数量。

11.根据权利要求7或9所述的去重系统，其特征在于，通过参数设置执行所述归约处理的节点的数量。