[发明专利]网站页面信息统计方法及装置

说明书

技术领域

本发明涉及网站统计技术，尤其涉及一种网站页面信息统计方法及装置。

背景技术

在网络应用中，通常需要通过页面信息监测统计的手段，对网站所链接的页面信息的点击率进行统计，其中包括对网站的页面广告点击率统计等等。在目前的页面信息监测统计过程中，存在各种搜索引擎的机器人等非人类活动影响统计准确性的问题。例如：google的网页抓取机器人，在抓取网站的过程中也会抓取到该网站的页面信息。现有的页面信息检测手段，将机器人对网站页面信息的访问也作为页面信息点击的有效数据统计在内，这样显然会影响对网站页面信息的真实统计结果。

现有技术中存在一种JS(JavaScript)编码方式，可以减少网络中的机器人活动对网站页面信息统计结果造成的影响。JS是由Netscape公司开发的一种适用于动态网页制作的脚本语言，如今，JS越来越广泛的应用于网页的制作。所谓JS编码方式，是通过JS的编码函数将页面信息素材链接和监测连接进行编码。例如，在页面上实现如下链接方式：<a href＝″#″onclick＝″javascirpt:window.location.href＝′http://www.xxx.com″′></a>。由于页面链接通过JS代码实现，无法被机器人抓取，从而使得机器人的活动不会对网站页面信息的真实统计结果造成影响。但是，这种方式需要服务器端和客户端都支持JS，实现复杂，如果客户端不支持JS，则会导致网站页面信息无法点击，从而也会造成对网站页面信息点击的统计结果不准确。

发明内容

有鉴于此，本发明的主要目的在于提供一种网站页面信息统计方法及装置，以解决现有技术中网站页面信息统计不准确和实现复杂的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种网站页面信息统计方法，包括：

获取所接收的超文本传输协议(HTTP，Hypertext Transfer Protocol)请求中的用户代理(UA，User Agent)字段；

将所述UA字段中的操作系统相关信息，与预先设置的检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

将所述匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

所述获取所接收的HTTP请求中的UA字段之前，该方法还包括：建立包括所述机器人禁止列表和浏览器允许列表的检索树。

所述生成匹配结果进一步包括：

根据所述匹配结果判断，如果所述操作系统相关信息对所述浏览器允许列表的匹配成功，且对所述机器人禁止列表的匹配失败，则判定所述匹配结果为合法；否则，判定所述匹配结果为不合法。

所述匹配是将所述操作系统相关信息中的每个字母依次与所述检索树中的节点进行匹配。

在所述检索树中采用不同的标识对所述机器人禁止列表和浏览器允许列表进行区分。

本发明还提供了一种网站页面信息统计装置，包括：UA字段获取单元、检索树匹配单元和统计单元；其中，

所述UA字段获取单元，用于获取所接收的HTTP请求中的UA字段；

所述检索树匹配单元，用于将所述UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

所述统计单元，用于将匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

所述装置还包括：检索树建立单元，连接所述检索树匹配单元，用于建立包括所述机器人禁止列表和浏览器允许列表的检索树。

所述检索树匹配单元还包括：相互连接的匹配子单元和结果判定子单元；其中，

所述匹配子单元，用于将所述UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

所述结果判定子单元，用于根据所述操作系统相关信息与所述浏览器允许列表和机器人禁止列表的匹配结果，判定所述匹配结果为合法或不合法。