[发明专利]网页URL过滤方法、装置及系统

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种网页URL过滤方法、装置及系统。

背景技术

目前，互联网的网页数量呈爆炸式增长，有些网站管理员为了便于统计网页的来源和渠道，通常会在网页的原始URL的基础上增加一些扩展字段，比如“http://blog.sina.com.cn/s/blog_4ac981db0102f1ta.html?tj=1”里的”?tj=1”是网站管理员定义的一种网页跳转来源，又比如“http://km.oa.com/group/469/surveys/show/5772?jumpfrom=systemmail”里的”?jumpfrom=systemmail”表示此网页是用户从某系统邮件里点击后跳转而来。

在上述两个例子中，网页URL末尾片断删除后，原网页内容不会有任何变化。而目前各种URL夹带特定目的参数的现象越来越多，导致同一网页具有多个URL，这样对于识别同一网页、统计同一网页的访问数量、存储网页内容均带来不便。因此通过识别并过滤网页URL多余参数，将同一网页对应的各种URL简化至其最原始的方式很有必要。

目前，主要是通过人工处理的方式来识别并筛选同一网页对应的各种URL。对于上面两个例子，经过人工判断出末尾的无效字段后，可以通过编写转换规则，将各种带多余参数的URL转换为其原始URL。

现有的这种人工处理方式虽然灵活快捷，但是，由于不同网站的参数格式可能完全不同，而且可能会经常扩展新的参数格式，因此人工维护代价过高，且能覆盖的网站数量相对较小。

发明内容

本发明实施例提供一种网页URL过滤方法、装置及系统，旨在提高网页数据统计的效率，方便资源存储。

本发明实施例提出一种网页URL过滤方法，包括：

获取预先收集的同一网页的URL数据集；

当所述URL数据集中包含多个URL时，对所述URL数据集中的每一URL进行字段拆分及分析；

根据字段拆分及分析结果，去掉其中的无关字段，生成所述网页的唯一URL。

本发明实施例还提出一种过滤网页URL的装置，包括：

URL数据获取模块，用于获取预先收集的同一网页的URL数据集；

字段拆分及分析模块，用于当所述URL数据集中包含多个URL时，对所述URL数据集中的每一URL进行字段拆分及分析；

生成模块，用于根据字段拆分及分析结果，去掉其中的无关字段，生成所述网页的唯一URL。

本发明实施例还提出一种过滤网页URL的系统，包括浏览器和与所述浏览器通信连接的数据监控平台，其中：

所述浏览器包括如上所述的装置；

所述数据监控平台，用于当所述浏览器判定生成的唯一URL无效时上报的字段过滤出错信息。

本发明实施例提出的一种网页URL过滤方法、装置及系统，通过识别同一网页的各种不同URL格式，过滤URL中与网页内容无关的字段，将同一网页的各种URL转换为唯一URL，能够有效减少网页数据的存储量，提高网页访问量的统计效率和准确度，其相比传统方案，不需要人工干预，且覆盖网站广泛，计算结果准确。

附图说明

图1是本发明网页URL过滤方法第一实施例的流程示意图；

图2是本发明网页URL过滤方法第二实施例的流程示意图；

图3是本发明网页URL过滤方法第三实施例的流程示意图；

图4是本发明过滤网页URL的装置第一实施例的功能模块示意图；

图5是本发明实施例中字段拆分及分析模块的结构示意图；

图6是本发明过滤网页URL的装置第二实施例的功能模块示意图；

图7是本发明实施例中校验模块的结构示意图；

图8是本发明过滤网页URL的装置第三实施例的功能模块示意图；

图9是本发明过滤网页URL的系统较佳实施例的结构示意图。

为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明第一实施例提出一种网页URL过滤方法，包括：

步骤S101，获取预先收集的同一网页的URL数据集；

本实施例可以自动化实现识别并过滤网页URL多余参数，将同一网页对应的各种URL简化至其最原始的方式，以提高网页访问量的统计效率和准确度，并减少网页数据的存储量。