[发明专利]基于分布式文件存储的网站页面内容统计的方法和系统

说明书

技术领域

本申请涉及网站数据统计领域，具体地说，是涉及一种基于分布式文件存储的网站页面内容统计的方法和系统。

背景技术

现有技术中，MongoDB（分布式文件存储数据库，介于关系数据库和非关系数据库之间的产品）支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是支持的查询语言非常强大，其语法类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。

目前，基于文件和数据库的网站需要进行UV（独立访客，Unique Vistor，访问您网站的一台电脑客户端为一个访客）、PV(访问量，Page View，页面浏览量或点击量，用户每次刷新即被计算一次)的统计，这两种方式的统计都比较粗线条，不能灵活的根据业务类型方便的组合查询条件。

例如：网站上广告的PV、UV的统计。网站的页面上有各种各样的广告链接，每个广告链接都对应一个id主键标识。用户点击广告链接便生成一个在网站日志中产生一条包含该访客特征及广告id主键的url（Uniform Resource Locator,统一资源定位符）访问信息，通过对所有包含广告id主键标识的url访问信息进行聚合计算，可以输出一段时间内某一个广告总共被点击了几次（这里被点击的次数即为该段时间内该广告的PV），还可以得到一段时间内有多少个访客访问了某一个广告（这里计算输出的访客数量即为该段时间内该广告的UV）。然而，如之前所述这两种方式的统计都比较粗线条，不能灵活的根据业务类型方便的组合查询条件。

因此，如何解决根据业务类型方便的组合查询条件进行网站的PV、UV统计，便成为亟待解决的技术问题。

发明内容

本申请所要解决的技术问题是提供一种基于分布式文件存储的网站页面内容统计的方法和系统，以解决根据业务类型方便的组合查询条件进行网站的PV、UV统计的问题。

为解决上述技术问题，本申请提供了一种基于分布式文件存储的网站页面内容统计的方法，其特征在于，包括：

采集访问日志，并将所述访问日志存入分布式文件存储数据库中，以小时为单位存储到所述分布式文件存储数据库中的相应的集合文档中；

对存储到所述分布式文件存储数据库中的访问日志进行分解并找出该访问日志中的有效日志信息，将有效日志信息与该访问日志建立映射关系；

对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值。

优选地，所述有效日志信息，包括：mobile字段、url字段、query字段和/或op字段。

优选地，将有效日志信息与该访问日志建立映射关系，进一步为：将所述mobile字段、url字段、query字段和/或op字段的对应值通过所述分布式文件存储数据库中的分布式计算中设定的该访问日志的特征值建立映射关系。

优选地，以小时为单位存储到所述分布式文件存储数据库中的相应的集合文档中，进一步为：以小时为单位，按照格式为日志通量yyyyMMddHH的方式存储到所述分布式文件存储数据库中的相应的集合文档中。

优选地，对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值，进一步为：

对该访问日志下的所有有效日志信息进行化简操作，输出化简后的有效日志信息，根据所述化简后的有效日志信息以小时、天、周、月或年为单位，输出该访问日志下的以访问为主键的点击量和对应的流量中间数据的值，或输出该访问日志下的以访问和会话身份为主键的独立访客数量和对应的流量中间数据的值。

为解决上述技术问题，本申请还提供了一种基于分布式文件存储的网站页面内容统计的系统，其特征在于，包括：采集访问日志模块、查找分析模块和化简统计模块；其中，

所述采集访问日志模块，将所述访问日志存入分布式文件存储数据库中，以小时为单位存储到所述分布式文件存储数据库中的相应的集合文档中；