[发明专利]一种统一资源定位符URL去重方法及装置

说明书

本申请实施例公开了一种统一资源定位符URL去重方法及装置，其中方法包括：对原始URL进行第一泛化处理，并判断该第一URL是否属于第一重复集合，若该第一URL不属于该第一重复集合，则对该第一URL进行第一减参处理得到第二URL，并判断该第二URL是否属于第二重复集合，若该第二URL属于第二重复集合，检测该第二URL在该第二重复集合中的第一出现次数是否小于或等于第一阈值，若是，则下载该原始URL，若否，则丢弃该原始URL，即不下载。采用本申请实施例，可以减少下载到重复URL的数量，从而可以提高WEB漏洞扫描系统的扫描效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种统一资源定位符URL去重方法及装置。

背景技术

目前业内很多万维网(world wide web，WEB)漏洞扫描系统，都有自己的统一资源定位符(uniform resource locator，URL)爬虫，也有自己的URL去重方法。URL爬虫指爬虫系统首先从互联网页面中精心选择一部分网页，以这些网页的链接地址作为种子URL，将这些种子放入待抓取URL队列中，爬虫从待抓取URL队列依次读取，并将URL通过域名系统(domain name system，DNS)解析，把链接地址转换为网站服务器对应的IP地址。然后将其和网页相对路径名称交给网页下载器，网页下载器负责页面的下载。对于下载到本地的网页，一方面将其存储到页面库中，等待建立索引等后续处理；另一方面将下载网页的URL放入已抓取队列中，这个队列记录了爬虫系统已经下载过的网页URL，以避免系统的重复抓取。

URL去重指的是将重复抓取的URL去除，避免多次抓取同一网页。例如，对每一个给定的URL，将其映射到某个物理地址上。当需要检测该给定URL是否重复时，只需判断该给定URL对应的物理地址是否已经存在，若存在，说明已经被下载过，则放弃下载，否则将该给定URL放入待抓取队列，等待下载。由于一个网站中的很多URL仅是参数部分不同，而这些仅是参数部分不同的URL很大可能已经被下载过，但这些URL经过映射后得到的物理地址是不相同的，这时仅通过URL对应的物理地址来判断这些URL是否重复将导致爬取到很多重复的URL，影响WEB漏洞扫描系统的扫描效率。

发明内容

本申请实施例提供一种统一资源定位符URL去重方法及装置，可减少下载到重复URL的数量，从而可以提高WEB漏洞扫描系统的扫描效率。

第一方面，本申请实施例提供了一种统一资源定位符URL去重方法，该方法包括：

对原始URL进行第一泛化处理，得到第一URL，该第一泛化处理用于将该原始URL中相同类型的多个连续字符替换为单个字符；

若该第一URL不属于第一重复集合，对该第一URL进行第一减参处理得到第二URL，该第一减参处理用于减少该第一URL中的参数变量，该第一重复集合包括历史记录中已下载的URL经过该第一泛化处理后得到的URL；

若该第二URL属于第二重复集合，检测该第二URL在该第二重复集合中的第一出现次数是否小于或等于第一阈值，若是，则下载该原始URL，该第二重复集合包括历史记录中已下载的URL经过该第一减参处理后得到的URL。

结合第一方面，在一种可能的实施方式中，该方法，还包括：

若该第一URL属于该第一重复集合，获取该第一URL在该第一重复集合中的第二出现次数；

若该第二出现次数小于或等于第二阈值，下载该原始URL；

其中，该第二阈值大于或等于该第一阈值。

结合第一方面，在一种可能的实施方式中，该若该第一URL不属于第一重复集合，对该第一URL进行第一减参处理得到第二URL，包括：

计算该第一URL的哈希值；