[发明专利]互联网信息统计方法及系统

说明书

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种互联网信息统计方法及其系统。

背景技术

Alexa是互联网首屈一指的免费提供网站流量信息的公司，创建于1996年，一直致力于开发网页抓取和网站流量计算的工具。Alexa排名是目前常引用的用来评价某一网站访问量的一个指标。

Alexa的网站世界排名主要分两种：综合排名和分类排名。

综合排名也叫绝对排名，即特定的一个网站在所有网站中的名次。Alexa每三个月公布一次新的网站综合排名。此排名的依据是用户链接数（Users Reach）和页面浏览数（Page Views）三个月累积的几何平均值。

分类排名，一是按主题分类，比如新闻、娱乐、购物等，Alexa给出某个特定网站在同一类网站中的名次。二是按语言分类，目前共分20种语言，比如英文网站、中文网站[Chinese(simpl)和Chinese(trad)]等，给出特定站点在所有此类语言网站中的名次。

Alexa还会根据网民对网站的评论，在综合排名信息中，用“星”来给网站评一个等级，最高为“5星”。国内网站排名最靠前的百度，得了“三星半”。Alexa网站本身不参加排名，但是Alexa给自己的评价为4星。

但是，Alexa只能提供一个粗略的排名信息，无法提供更多的选项和界面。

发明内容

本发明的目的在于提出一种互联网信息统计方法及其系统，使得能够为不同的业务系统及用户以不同的粒度、高速准确地提供丰富的网络访问数据，为决策部门提供翔实客观的数据支持。

为达此目的，本发明采用以下技术方案：

一种互联网信息统计方法，其特征在于，包括：

S1、按照业务主题将用户网络访问数据通过MapReduce划分成多个业务主题数据集，其中，所述用户网络访问数据为用户跨网访问数据；

S2、对每个业务主题数据集中包含的数据根据不同的指标进行统计，将各业务主题的统计数据保存起来；

S3、当接收到统计信息查询请求时，根据所述查询请求要查询的业务主题获取对应的统计数据并返回。

进一步地，在步骤S1之前还包括：

预先去除网络访问数据中的无效数据。

进一步地，所述无效数据包括：后缀错误的域名数据，访问量小于预设阈值的域名数据。

进一步地，在识别无效数据时先判断是否属于黑白名单中预设的域名数据，对于白名单中的域名数据和所述域名数据的下级域名数据，始终视为有效数据，对于黑名单中的域名数据和所述域名数据的下级域名数据，始终视为无效数据。

进一步地，以服务的形式为步骤S2中的各业务主题的统计数据提供访问接口。

进一步地，利用所述服务创建至少一个业务子模块，其中封装了针对所述统计数据的预定义运算，并以服务的形式为该业务子模块提供访问接口。

根据本发明的同一构思，本发明还提供了一种互联网信息统计系统，包括：

一种互联网信息统计系统，其特征在于，包括：

数据拆分单元，按照业务主题将用户网络访问数据通过MapReduce划分成多个业务主题数据集，其中，所述用户网络访问数据为用户跨网访问数据；

数据汇总单元，对每个业务主题数据集中包含的数据根据不同的指标进行统计，将各业务主题的统计数据保存起来；

数据查询单元，当接收到统计信息查询请求时，根据所述查询请求要查询的业务主题获取对应的统计数据并返回。

进一步地，所述系统还包括：

数据预处理单元，预先去除网络访问数据中的无效数据。

进一步地，所述无效数据包括：后缀错误的域名数据，访问量小于预设阈值的域名数据。

进一步地，在识别无效数据时先判断是否属于黑白名单中预设的域名数据，对于白名单中的域名数据和所述域名数据的下级域名数据，始终视为有效数据，对于黑名单中的域名数据和所述域名数据的下级域名数据，始终视为无效数据。

进一步地，所述系统还包括：

数据集市，保存数据汇总单元统计得到的数据。

进一步地，所述系统还包括：

第一服务单元，以服务的形式为数据汇总单元统计得到的各业务主题的统计数据提供访问接口。

进一步地，所述系统还包括：

第二服务单元，利用所述第一服务单元提供的服务创建至少一个业务子模块，其中封装了针对所述统计数据的预定义运算，并以服务的形式为该业务子模块提供访问接口。