[发明专利]服务端处理网络日志数据的方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种服务端处理网络日志数据的方法和装置。

背景技术

日志统计分析是指对用户访问日志或系统日志运用统计方法及与分析对象有关的知识，从定量与定性的结合上进行的研究。随着互联网的发展，网站产生的用户访问日志或系统日志成爆发式增长，如何利用好这些日志信息，从这些信息中提取有效信息，从而提高网络资源利用率并进一步提高用户体验成为了当前互联网技术领域的关注点。而对日志进行统计分析从而获取有效的统计分析结果是解决该技术问题的方法之一。

在日志统计分析的发展过程当中，目前已经出现了一些日志统计分析系统，比如Google Analytics等。这些日志统计分析系统类似于应用软件，可以通过在浏览器端安装一个Javascript(JS)插件，用于收集用户访问日志，然后根据收集到的数据进行统计分析，展示固定的报表。

然而，目前的日志统计分析有很多局限性。例如，必须在客户端插入一段JS代码来收集用户日志，如果用户浏览器设置里禁用了JS功能或用户使用的是手机浏览器，则无法有效的执行客户端的JS代码，从而影响日志收集，也会影响日志统计分析的准确性和覆盖面。而且，目前的日志统计分析还加重了客户端的任务，占用了客户端的处理资源（CPU和内存），对用户使用的硬件有一定要求，也会加重用户设备的负载，进而影响用户体验。另外，在现有技术中，日志统计分析系统收集的用户字段都是通过字段索引来标明字段含义，对字段的增删改查维护起来很繁杂。

在用户状态标记方面，现有技术通过客户端的COOKIE方式，记录生成用户ID，并且在客户端判断用户的新老状态。这会导致以下问题：第一，COOKIE中的“用户首次访问”字段丢失时，用户将成为新用户，对统计分析新老UV（Unique visitor独立访客)会造成直接误差；第二，不支持二次计算，例如在发布某一个版本后，发现计算用户状态的逻辑存在错误，需修复此错误后重新发布版本，在此期间上传的用户状态数据都是错误的，而且无法修正，对统计分析结构直接造成影响。

发明内容

本发明实施例提供一种服务端处理网络日志数据的方法和装置，以提供对日志数据进行安全、灵活、方便的处理方案。

本发明为了实现上述目的提供一种服务端处理网络日志数据的方法，包括：记录原始日志数据；根据原始日志数据以预定周期生成日志文件，其中，日志文件中的每条日志数据包括多个栏目的内容，并且，各栏目分别具有各自的栏目索引信息；查询日志文件中的注释字段，每个注释字段分别记录了日志数据中对应栏目的字段所代表的预定统计项目含义；将各注释字段分别与对应栏目的栏目索引信息相关联；根据预定统计项目对应栏目的索引信息提取该栏目的日志数据；对提取的日志数据进行统计以获取预定统计项目的统计结果。

在一个实施例中，服务端处理网络日志数据的方法还包括：在确定文件指针为日志文件的第一行或确定日志文件为空文件之后，在日志文件中写入对应于各栏目的注释字段。

在一个实施例中，对提取的日志数据进行统计以获取预定统计项目的统计结果的步骤包括：将用户的所有访问轨迹记录并不断更新于数据库，访问轨迹至少包括用户的第一次访问时间和存在的所有后续访问时间。

在一个实施例中，服务端处理网络日志数据的方法还包括：在将用户的所有访问轨迹记录并不断更新于数据库之后，根据数据库记录的用户的访问轨迹，将只有第一次访问时间的用户的状态标识为新用户，将存在后续访问时间的用户标识为老用户。

在一个实施例中，服务端处理网络日志数据的方法还包括：在将用户的所有访问轨迹记录并不断更新于数据库之后，根据数据库记录的用户的访问轨迹，将预定周期内存在后续访问时间的用户标识为预定周期留存用户。

本发明为了实现上述目的还提供一种服务端处理网络日志数据的装置，包括：原始日志记录模块，用于记录原始日志数据；日志文件生成模块，用于根据原始日志数据以预定周期生成日志文件，其中，日志文件中的每条日志数据包括多个栏目的内容，并且，各栏目分别具有各自的栏目索引信息；注释查询模块，用于查询日志文件中的注释字段，每个注释字段分别记录了日志数据中对应栏目的字段所代表的预定统计项目含义；关联模块，用于将各注释字段分别与对应栏目的栏目索引信息相关联；数据提取模块，用于根据预定统计项目对应栏目的索引信息提取该栏目的日志数据；数据统计模块，用于对提取的日志数据进行统计以获取预定统计项目的统计结果。