[发明专利]一种统一资源定位符URL去重方法及装置

权利要求书

1.一种统一资源定位符URL去重方法，其特征在于，包括：

对原始URL进行第一泛化处理，得到第一URL，所述第一泛化处理用于将所述原始URL中相同类型的多个连续字符替换为单个字符；

若所述第一URL不属于第一重复集合，对所述第一URL进行第一减参处理得到第二URL，所述第一减参处理用于减少所述第一URL中的参数变量，所述第一重复集合包括历史记录中已下载的URL经过所述第一泛化处理后得到的URL；

若所述第二URL属于第二重复集合，检测所述第二URL在所述第二重复集合中的第一出现次数是否小于或等于第一阈值，若所述第一出现次数小于或等于所述第一阈值，则下载所述原始URL，所述第二重复集合包括历史记录中已下载的URL经过所述第一减参处理后得到的URL；

若所述第二URL不属于所述第二重复集合，对所述第二URL进行第二减参处理得到第三URL，所述第二减参处理用于减少所述第二URL中的参数变量；

若所述第三URL属于第三重复集合，检测所述第三URL在所述第三重复集合中的第三出现次数是否小于或等于第三阈值，若所述第三出现次数小于或等于所述第三阈值，则下载所述原始URL，所述第三重复集合包括历史记录中已下载的URL经过所述第二减参处理后得到的URL；其中，所述第三阈值小于或等于所述第一阈值。

2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

若所述第一URL属于所述第一重复集合，获取所述第一URL在所述第一重复集合中的第二出现次数；

若所述第二出现次数小于或等于第二阈值，下载所述原始URL；

其中，所述第二阈值大于或等于所述第一阈值。

3.根据权利要求1所述的方法，其特征在于，所述若所述第一URL不属于第一重复集合，对所述第一URL进行第一减参处理得到第二URL，包括：

计算所述第一URL的哈希值；

检测所述第一URL的哈希值是否属于第一重复集合，所述第一重复集合包括历史记录中已下载的URL经过所述第一泛化处理后得到的URL的哈希值；

若所述第一URL的哈希值不属于所述第一重复集合，对所述第一URL进行所述第一减参处理得到第二URL。

4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

若所述第三URL不属于所述第三重复集合，对所述第三URL进行第二泛化处理得到第四URL，所述第二泛化处理用于将所述第三URL中目标类型的至少一个字符替换为目标字符；

若所述第四URL属于第四重复集合，检测所述第四URL在所述第四重复集合中的第四出现次数是否小于或等于第四阈值，若所述第四出现次数小于或等于所述第四阈值，则下载所述原始URL，所述第四重复集合包括历史记录中已下载的URL经过所述第一、所述第二减参处理以及所述第二泛化处理后得到的URL；

其中，所述第四阈值小于或等于所述第三阈值。

5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：

若所述第四URL不属于所述第四重复集合，下载所述原始URL。