[发明专利]网页URL过滤方法、装置及系统

权利要求书

1.一种网页URL过滤方法，其特征在于，包括：

获取预先收集的同一网页的URL数据集；

当所述URL数据集中包含多个URL时，对所述URL数据集中的每一URL进行字段拆分及分析；

根据字段拆分及分析结果，去掉其中的无关字段，生成所述网页的唯一URL。

2.根据权利要求1所述的方法，其特征在于，所述获取预先收集的同一网页的URL数据集的步骤包括：

基于网页文档编号从浏览器后台获取所述浏览器后台收集的同一网页的URL数据。

3.根据权利要求1所述的方法，其特征在于，所述对URL数据集中的每一URL进行字段拆分及分析的步骤包括：

对所述URL数据集中的每一URL，获取其中的分隔符；

通过所述分隔符对每一URL进行字段拆分，得到每一URL中的所有字段；

分析每一URL中的每一字段，当所述字段在所述URL数据集中的每一URL中都出现，则判定其为必备字段；当所述字段在所述URL数据集中至少一个URL中没有出现，则判定其为无关字段。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

对生成的所述网页的唯一URL进行校验。

5.根据权利要求4所述的方法，其特征在于，所述对生成的所述网页的唯一URL进行校验的步骤包括：

跳转所述唯一URL，获取返回的网页内容；

根据所述网页内容并基于哈希算法，计算获取所述网页内容对应的网页文档编号；

将获取的所述网页内容对应的网页文档编号与所述唯一URL的原始网页文档编号进行对比；若两者相同，则判定所述唯一URL有效，否则判定所述唯一URL无效。

6.根据权利要求5所述的方法，其特征在于，还包括：

当判定所述唯一URL无效时，向数据监控平台上报字段过滤出错信息。

7.一种过滤网页URL的装置，其特征在于，包括：

URL数据获取模块，用于获取预先收集的同一网页的URL数据集；

字段拆分及分析模块，用于当所述URL数据集中包含多个URL时，对所述URL数据集中的每一URL进行字段拆分及分析；

生成模块，用于根据字段拆分及分析结果，去掉其中的无关字段，生成所述网页的唯一URL。

8.根据权利要求7所述的装置，其特征在于，

所述URL数据获取模块，还用于基于网页文档编号从浏览器后台获取所述浏览器后台收集的同一网页的URL数据。

9.根据权利要求8所述的装置，其特征在于，所述字段拆分及分析模块包括：

分隔符获取单元，用于对所述URL数据集中的每一URL，获取其中的分隔符；

拆分单元，用于通过所述分隔符对每一URL进行字段拆分，得到每一URL中的所有字段；

分析判断单元，用于分析每一URL中的每一字段，当所述字段在所述URL数据集中的每一URL中都出现，则判定其为必备字段；当所述字段在所述URL数据集中至少一个URL中没有出现，则判定其为无关字段。

10.根据权利要求8或9所述的装置，其特征在于，还包括：

校验模块，用于对生成的所述网页的唯一URL进行校验；所述校验模块具体包括：

网页内容获取单元，用于跳转所述唯一URL，获取返回的网页内容；

计算单元，用于根据所述网页内容并基于哈希算法，计算获取所述网页内容对应的网页文档编号；

比较判断单元，用于将获取的所述网页内容对应的网页文档编号与所述唯一URL的原始网页文档编号进行对比；若两者相同，则判定所述唯一URL有效，否则判定所述唯一URL无效。

11.根据权利要求10所述的装置，其特征在于，还包括：

上报模块，用于当所述校验模块判定所述唯一URL无效时，向数据监控平台上报字段过滤出错信息。

12.一种过滤网页URL的系统，其特征在于，包括浏览器和与所述浏览器通信连接的数据监控平台，其中：

所述浏览器包括权利要求7-11中任一项所述的装置；

所述数据监控平台，用于当所述浏览器判定生成的唯一URL无效时上报的字段过滤出错信息。