[发明专利]日志数据处理方法、装置和系统

说明书

本申请实施例公开了日志数据处理方法、装置和系统。该方法的一具体实施方式包括：获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；确定多个属性值组；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。当将日志数据汇聚表进行传输以对预设时间段内的日志进一步进行统计分析时，可以减少所占用的带宽资源。有利于提高数据传输效率。

技术领域

本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及日志数据处理方法、装置和系统。

背景技术

Web日志，可以包括但不限于各种前端Web服务器等产生的用户访问日志。

每条用户访问日志通常代表用户的一次访问行为。从一条用户访问日志中可以得到很多有用的信息，例如访问者的IP、访问的时间、访问的目标网页、来源的地址等。因此，用户访问日志中包含了大量人们会感兴趣额信息，例如，我们可以从中获取网站每类页面的页面访问量等等。

一种常用的日志分析方式是，将一定时间段(例如1分钟)内的用户访问日志汇总计算，生成多维数据表。

现有的多维数据表的方式是将所有提供信息服务的信息节点生成的用户访问日志，通过消息队列，发送到日志汇聚服务器做汇聚计算。

发明内容

本申请实施例提出了一种日志数据处理方法、装置和系统。

第一方面，本申请实施例提供了一种日志数据处理方法，该方法包括：获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。

在一些实施例中，待处理日志数据为日志；以及获取预设时间段内基于日志生成的多条待处理日志数据，包括：获取预设时间段内本地生成的多个日志；以及对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值，包括：将具有该属性值组的每一个属性值的日志所指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。

在一些实施例中，每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；以及确定多个属性值组，包括：从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；以及对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值，包括：确定出具有该属性值组的每一属性值的多条待处理日志数据；将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。

在一些实施例中，从多个属性中确定出多个属性子组；对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值；基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；根据多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。