[发明专利]实时日志处理方法与装置

说明书

本公开提供一种实时日志处理方法，其特征在于，包括：获取日志流，筛选出符合预设格式的日志；读取日志，根据日志生成第一统计单元，第一统计单元包括至少一个公共维度与一个属于一指标的统计维度；读取数据库，判断数据库中是否存在第二统计单元，第二统计单元除统计维度的维度值外均与第一统计单元相同；如果不存在第二统计单元，在数据库中创建第二统计单元，第二统计单元与第一统计单元相同；如果存在第二统计单元，将第一统计单元的统计维度的维度值累加进第二统计单元的统计维度的维度值；展示数据库中至少一个统计维度的维度值。本公开提供的实时日志处理方法可以提高系统分析效率。

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种实时日志处理 方法与装置。

背景技术

在日常的工作中，系统常会出现异常故障，此时通过系统监控系统 查看线上系统运行状况、机器基础指标、和接口等性能指标往往无法准 确定位故障。从以往的经验来看，如果系统技术指标层面没有问题，那 么出问题的地方往往是一些业务层面的故障，如线上可用红包酒店数量 下降，用户红包数下降等。而排查这些问题往往很让人头痛，因为没有实时的数据来支持这样的分析，只有通过一天后一些数据统计来推测出 来问题，这样就浪费了大量宝贵的时间，甚至可能造成严重的经济损 失。

因此，急需一种能够对业务数据进行实时收集分析的方法，从具体 业务层面上分析系统故障问题所在。同时，对于产品的一些需求，也可 以打一些点，来辅助分析需求的合理性，从而为后续需求评估做数据支 持。此外，由于不同业务系统需要统计的数据可能有很多种，作为系统 设计不可能为每一种是业务场景都设计一套分析流程。因此需要一套通用的、可配置的实时多维度日志处理方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公 开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现 有技术的信息。

发明内容

本公开的目的在于提供一种实时日志处理方法与装置，用于至少在 一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。

根据本公开实施例的第一方面，提供一种实时日志处理方法，包括：

获取日志流，筛选出符合预设格式的日志；

读取日志，根据日志生成第一统计单元，第一统计单元包括至少一 个公共维度与一个属于一指标的统计维度；

读取数据库，判断数据库中是否存在第二统计单元，第二统计单元 除统计维度的维度值外均与第一统计单元相同；

如果不存在第二统计单元，在数据库中创建第二统计单元，第二统 计单元与第一统计单元相同；

如果存在第二统计单元，将第一统计单元的统计维度的维度值累加 进第二统计单元的统计维度的维度值；

展示数据库中至少一个统计维度的维度值。

在本公开的一种示例性实施例中，根据日志生成第一统计单元包括：

根据配置表与日志生成第一统计单元，配置表包括需统计的指标名 称与统计维度名称。

在本公开的一种示例性实施例中，读取数据库包括：

判断是否达到预设条件；

如果达到预设条件，读取数据库；

如果未达到预设条件，将第一统计单元保存在缓冲区。

在本公开的一种示例性实施例中，数据库包括多个槽，在数据库中 创建第二统计单元包括在数据库的一个槽中创建第二统计单元。

在本公开的一种示例性实施例中，展示数据库中至少一个统计维度 的维度值包括：

响应客户端查询指令按维度图表化展示维度值。