[发明专利]一种网页内容抓取方法及装置

说明书

技术领域

本发明涉及信息检索领域，特别是涉及一种网页内容抓取方法及装置。

背景技术

互联网网页信息每天都在快速地增长，为了能够让搜索引擎快速、全面地索引网页信息，网络爬虫需要每天抓取大量的网页。

但是，出于对网站目录方便管理等目的，很多情况下会对网页参数进行优化。对网页参数进行优化后，会造成参数不同的统一资源定位符（Universal Resource Locator，URL）对应相同的页面。例如：为了统计访问news.baidu.com的用户的来源信息，通常会在原本的URL基础上增加一个参数“fr”。具体的，当原本的URL为http://news.baidu.com/时，可以将原本的URL修改为http://news.baidu.com/?fr=baiduer。上面的两个URL，虽然包含的参数不同，但是对应的页面是相同的。其中，分隔符fr=baiduer这部分参数对于网络爬虫来说，由于并不影响网络爬虫抓取到的网页内容，所以可以称为无效参数。

现有技术中，在抓取网页内容时，对于参数不同的URL，都会进行一次抓取。由于无效参数的存在，所以会导致对于参数不同的URL指向的相同的页面内容进行多次重复抓取。这会造成带宽资源和存储资源的浪费，进而影响到搜索引擎的覆盖率和时效性。

发明内容

本发明的目的是提供一种网页内容抓取方法及装置，可以识别URL中的有效参数，只对包含有效参数的URL信息对应的网页内容进行抓取，对于不包含有效参数的URL，不再重复进行网页抓取，减少带宽资源和存储资源的浪费。

为实现上述目的，本发明提供了如下方案：

一种网页内容抓取方法，包括：

获取网页的URL信息；

识别所述URL信息中包含的路径信息和参数信息；

对于路径信息相同的URL信息进行聚类，得到包含多个URL信息的URL信息集；

将所述URL信息集中，在每个URL信息中均出现并且参数值不变的参数，确定为有效参数；

抓取有效URL信息对应的网页内容；

其中，所述有效URL信息中的参数均为有效参数。

可选的，还包括：

将所述URL信息集中，在每个URL信息中均出现但是参数值变化的参数，或者未在全部URL信息中均出现的参数，确定为无效参数；

对于包含无效参数的URL信息对应的网页内容，不再进行抓取。

可选的，确定无效参数的过程，还包括：

获取所述URL信息集中的第一URL信息和第二URL信息；所述第一URL信息和第二URL信息中包含相同的第一参数，且所述第一参数在所述第一URL信息和第二URL信息中具有不同的参数值；

获取所述第一URL信息对应的第一网页内容以及所述第二URL信息对应的第二网页内容；

判断所述第一网页内容与所述第二网页内容是否相同；

如果相同，则将所述第一参数确定为无效参数。

可选的，还包括：

在确定出所述无效参数后，在预设时间内对所述无效参数进行验证，判断是否出现反例；

如果出现反例，则将所述无效参数确定为有效参数。

可选的，所述对所述无效参数进行验证，判断是否出现反例，包括：

获取包含无效参数的第三URL信息对应的第三网页内容；

删除所述第三URL信息中的无效参数，得到第四URL信息；

获取所述第四URL信息对应的第四网页内容；

判断所述第三网页内容与所述第四网页内容是否相同；

如果不相同，则确定出现反例。

一种网页内容抓取装置，包括：

信息获取模块，用于获取网页的URL信息；

信息识别模块，用于识别所述URL信息中包含的路径信息和参数信息；

聚类模块，用于对于路径信息相同的URL信息进行聚类，得到包含多个URL信息的URL信息集；

有效参数确定模块，用于将所述URL信息集中，在每个URL信息中均出现并且参数值不变的参数，确定为有效参数；

网页内容抓取模块，用于抓取有效URL信息对应的网页内容；

其中，所述有效URL信息中的参数均为有效参数。

可选的，还包括：

无效参数确定模块，用于将所述URL信息集中，在每个URL信息中均出现但是参数值变化的参数，或者未在全部URL信息中均出现的参数，确定为无效参数；