[发明专利]快速的web流量采集统计系统和方法

说明书

技术领域

本发明涉及web流量统计技术，尤其涉及内容分发网络（CDN）服务商的web流量的采集统计系统和方法。

背景技术

CDN服务商为了给CDN加速客户提供有效的加速服务，一般都会部署大规模的CDN节点，这些节点覆盖范围很广，甚至是覆盖全球范围，而为了实时监控客户及节点应用服务的各种流量数据变化，需要对这些节点上的web流量快速地进行采集统计。

现有的web流量统计技术，由于涉及到业务层面的流量统计，例如要统计客户域名的流量相关数据，是通过收集和分析web访问日志，来统计客户及节点应用服务的流量数据。

这种传统的web流量统计技术，要处理的是分布在各个节点上的web访问日志，日志量的规模同web访问量的规模成正比，CDN服务商每天web访问日志量的规模一般都达到TB级别甚至PB级别，即海量日志，可以说这种技术存在以下缺点：

1)为了处理海量web访问日志，而且这些日志还是分散的，需要消耗大量的资源，包括带宽传输和机器设备的消耗。

2)统计数据延迟较大，因为收集、处理和分析web访问日志的时间长，而且由于架构上的层级较多，即使增加资源，也很难实现实时统计。

发明内容

本发明的目的在于解决上述问题，提供了一种快速的web流量采集统计系统和方法，是基于单机web服务器实时统计业务流量进行的处理，以较小的资源代价实现web流量实时统计的问题。

本发明的技术方案为：本发明揭示了一种快速的web流量采集统计系统，包括流量采集分析装置、流量中转合并装置以及流量最终合并装置，其中：

流量采集分析装置，部署在内容分发网络节点上，实时采集分析流量日志，统计生成单点的业务流量数据，将单点的业务流量数据发送到流量中转合并装置；

流量中转合并装置，部署在流量中转合并节点上，将内容分发网络节点上的业务流量数据合并统计，实时生成业务的中间流量数据，再传输到流量最终合并装置；

流量最终合并装置，部署在流量最终合并节点上，实时合并统计业务的中间流量数据，生成业务最终的流量数据。

根据本发明的快速的web流量采集统计系统的一实施例，流量中转合并节点是根据内容分发网络的节点分布范围选取的。

根据本发明的快速的web流量采集统计系统的一实施例，流量最终合并节点是根据所选节点对流量中转合并节点的覆盖范围选取的。

根据本发明的快速的web流量采集统计系统的一实施例，流量中转合并节点根据内容分发网络的节点规模进行横向扩展。

根据本发明的快速的web流量采集统计系统的一实施例，流量数据包括连接时间、请求数和请求方式。

本发明还揭示了一种快速的web流量采集统计方法，在单个内容分发网络节点上实施，包括：

加载业务统计规则；

获取未处理的流量日志队列；

判断流量日志队列是否为空，若为空则返回上一步，若不为空则从队列中取出一个流量日志；

获取该流量日志对应的时间点；

解析该流量日志；

根据业务统计规则统计该时间点的业务流量数据；

输出该时间点的业务流量数据后删除该流量日志。

根据本发明的快速的web流量采集统计方法的一实施例，在流量日志名中解析得到该流量日志对应的时间点。

本发明对比现有技术有如下的有益效果：本发明的系统包括流量采集分析装置、流量中转合并装置以及流量最终合并装置，通过设置一个可扩展的中间合并层，通过网络检测随机选择较优的中间合并机器，把web服务器的业务流量数据传输出去，由于业务流量数据并不大，又做了网络选路，基本上可以做到实时传输。

附图说明

图1示出了本发明的快速的web流量采集统计系统的较佳实施例的结构图。

图2示出了本发明的快速的web流量采集统计系统的数据流图。

图3示出了本发明的快速的web流量采集统计方法的较佳实施例的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

快速的web流量采集统计系统的实施例

图1示出了本发明的快速的web流量采集统计系统的较佳实施例的结构。请参见图1，本实施例的系统包括流量采集分析装置1、流量中转合并装置2以及流量最终合并装置3。