[发明专利]一种网页内容抓取方法及装置

权利要求书

1.一种网页内容抓取方法，其特征在于，包括：

获取网页的URL信息；

识别所述URL信息中包含的路径信息和参数信息；

对于路径信息相同的URL信息进行聚类，得到包含多个URL信息的URL信息集；

将所述URL信息集中，在每个URL信息中均出现并且参数值不变的参数，确定为有效参数；

抓取有效URL信息对应的网页内容；

其中，所述有效URL信息中的参数均为有效参数。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述URL信息集中，在每个URL信息中均出现但是参数值变化的参数，或者未在全部URL信息中均出现的参数，确定为无效参数；

对于包含无效参数的URL信息对应的网页内容，不再进行抓取。

3.根据权利要求2所述的方法，其特征在于，确定无效参数的过程，还包括：

获取所述URL信息集中的第一URL信息和第二URL信息；所述第一URL信息和第二URL信息中包含相同的第一参数，且所述第一参数在所述第一URL信息和第二URL信息中具有不同的参数值；

获取所述第一URL信息对应的第一网页内容以及所述第二URL信息对应的第二网页内容；

判断所述第一网页内容与所述第二网页内容是否相同；

如果相同，则将所述第一参数确定为无效参数。

4.根据权利要求2所述的方法，其特征在于，还包括：

在确定出所述无效参数后，在预设时间内对所述无效参数进行验证，判断是否出现反例；

如果出现反例，则将所述无效参数确定为有效参数。

5.根据权利要求4所述的方法，其特征在于，所述对所述无效参数进行验证，判断是否出现反例，包括：

获取包含无效参数的第三URL信息对应的第三网页内容；

删除所述第三URL信息中的无效参数，得到第四URL信息；

获取所述第四URL信息对应的第四网页内容；

判断所述第三网页内容与所述第四网页内容是否相同；

如果不相同，则确定出现反例。

6.一种网页内容抓取装置，其特征在于，包括：

信息获取模块，用于获取网页的URL信息；

信息识别模块，用于识别所述URL信息中包含的路径信息和参数信息；

聚类模块，用于对于路径信息相同的URL信息进行聚类，得到包含多个URL信息的URL信息集；

有效参数确定模块，用于将所述URL信息集中，在每个URL信息中均出现并且参数值不变的参数，确定为有效参数；

网页内容抓取模块，用于抓取有效URL信息对应的网页内容；

其中，所述有效URL信息中的参数均为有效参数。

7.根据权利要求6所述的装置，其特征在于，还包括：

无效参数确定模块，用于将所述URL信息集中，在每个URL信息中均出现但是参数值变化的参数，或者未在全部URL信息中均出现的参数，确定为无效参数；

无效参数过滤模块，用于对于包含无效参数的URL信息对应的网页内容，不再进行抓取。

8.根据权利要求6所述的装置，其特征在于，所述聚类模块，包括：

第一URL信息获取单元，用于获取所述URL信息集中的第一URL信息和第二URL信息；所述第一URL信息和第二URL信息中包含相同的第一参数，且所述第一参数在所述第一URL信息和第二URL信息中具有不同的参数值；

第一及第二网页内容获取单元，用于获取所述第一URL信息对应的第一网页内容以及所述第二URL信息对应的第二网页内容；

第一判断单元，用于判断所述第一网页内容与所述第二网页内容是否相同；

无效参数确定单元，用于当所述第一判断单元的判断结果为是时，将所述第一参数确定为无效参数。

9.根据权利要求7所述的装置，其特征在于，还包括：

验证模块，用于在确定出所述无效参数后，在预设时间内对所述无效参数进行验证，判断是否出现反例；

无效参数变更模块，用于当所述验证模块的判断结果为是时，将所述无效参数确定为有效参数。

10.根据权利要求9所述的装置，其特征在于，所述验证模块包括：

第三网页内容获取单元，用于获取包含无效参数的第三URL信息对应的第三网页内容；

无效参数删除单元，用于删除所述第三URL信息中的无效参数，得到第四URL信息；

第四网页内容获取单元，用于获取所述第四URL信息对应的第四网页内容；

第二判断单元，用于判断所述第三网页内容与所述第四网页内容是否相同；

反例确定单元，用于当所述第二判断单元的判断结果为否时，确定出现反例。