[发明专利]基于分布式文件存储的网站页面内容统计的方法和系统

权利要求书

1.一种基于分布式文件存储的网站页面内容统计的方法，其特征在于，包括：

采集访问日志，并将所述访问日志存入分布式文件存储数据库中，以小时为单位存储到所述分布式文件存储数据库中的相应的集合文档中；

对存储到所述分布式文件存储数据库中的访问日志进行分解并找出该访问日志中的有效日志信息，将有效日志信息与该访问日志建立映射关系；

对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值。

2.如权利要求1所述的基于分布式文件存储的网站页面内容统计的方法，其特征在于，所述有效日志信息，包括：mobile字段、url字段、query字段和/或op字段。

3.如权利要求2所述的基于分布式文件存储的网站页面内容统计的方法，其特征在于，将有效日志信息与该访问日志建立映射关系，进一步为：将所述mobile字段、url字段、query字段和/或op字段的对应值通过所述分布式文件存储数据库中的分布式计算中设定的该访问日志的特征值建立映射关系。

4.如权利要求1所述的基于分布式文件存储的网站页面内容统计的方法，其特征在于，以小时为单位存储到所述分布式文件存储数据库中的相应的集合文档中，进一步为：以小时为单位，按照格式为日志通量yyyyMMddHH的方式存储到所述分布式文件存储数据库中的相应的集合文档中。

5.如权利要求1所述的基于分布式文件存储的网站页面内容统计的方法，其特征在于，对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值，进一步为：

对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息以小时、天、周、月或年为单位，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值。

6.一种基于分布式文件存储的网站页面内容统计的系统，其特征在于，包括：采集访问日志模块、查找分析模块和化简统计模块；其中，

所述采集访问日志模块，将所述访问日志存入分布式文件存储数据库中，以小时为单位存储到所述分布式文件存储数据库中的相应的集合文档中；

所述查找分析模块，对存储到所述分布式文件存储数据库中的访问日志进行分解并找出该访问日志中的有效日志信息，将有效日志信息与该访问日志建立映射关系发送给所述化简统计模块；

所述化简统计模块，对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值。

7.如权利要求6所述的基于分布式文件存储的网站页面内容统计的系统，其特征在于，所述有效日志信息，包括：mobile字段、url字段、query字段和/或op字段。

8.如权利要求7所述的基于分布式文件存储的网站页面内容统计的系统，其特征在于，所述查找分析模块，进一步为：对存储到所述分布式文件存储数据库中的访问日志进行分解并找出该访问日志中的mobile字段、url字段、query字段和/或op字段，将所述mobile字段、url字段、query字段和/或op字段的对应值通过所述分布式文件存储数据库中的分布式计算中设定的该访问日志的特征值建立映射关系发送给所述化简统计模块。

9.如权利要求6所述的基于分布式文件存储的网站页面内容统计的系统，其特征在于，所述采集访问日志模块，进一步为：将所述访问日志存入分布式文件存储数据库中，以小时为单位，按照格式为日志通量yyyyMMddHH的方式存储到所述分布式文件存储数据库中的相应的集合文档中。

10.如权利要求6所述的基于分布式文件存储的网站页面内容统计的系统，其特征在于，所述化简统计模块，进一步为对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息以小时、天、周、月或年为单位，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值。