[发明专利]报表分解统计方法、系统、计算机设备和存储介质

说明书

本发明涉及数据处理技术领域，尤其涉及一种报表分解统计方法、系统、计算机设备和存储介质。获取预设在存储介质中的日志数据报表及查询请求，在日志数据报表中，查找对应的业务类型字段，通过中间统计语句进行运算，得到运算结果并保存在子报表中；获取目标时间范围和目标统计语句，在子报表中查找对应的运算结果，提取目标时间范围内的运算结果；通过聚合统计语句对提取的运算结果进行聚合运算，生成查询统计结果。本发明通过把原有查询用的统计语句分解为中间统计语句，在需要最终结果时，对运算结果进行聚合，大大提升了统计效率、降低系统负荷的目的。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种报表分解统计方法、系统、计算机设备和存储介质。

背景技术

客户端用户每天会产生大量的用户日志，如行为信息、异常信息等，需要存储用户产生的日志，并对日志进行统计、分析和查询，这类工作一般通过日志处理软件执行。当前的日志处理系统都有报表统计这一项功能，通过定时任务来规划周期性的查询统计，并生成查询统计结果。

但是对于查询时间范围比较大的报表，则需要消耗大量计算资源。比如，假设统计一个月的数据，数据条目数为100000，通过定时任务来直接执行查询统计需要计算100000个数据的统计函数，造成执行速度慢，且报表集中生成，系统负载压力大。而且容易造成报表查询时间有重叠，历史的查询结果没有有效利用，造成资源的浪费。

发明内容

有鉴于此，有必要针对报表查询时间范围比较长、消耗系统大量对计算和存储资源以及造成资源的浪费问题，提供一种报表分解统计方法、系统、计算机设备和存储介质。

一种报表分解统计方法，包括如下步骤：

获取预设在存储介质中的日志数据报表，所述日志数据报表包括开始时间字段、结束时间字段、与所述开始时间字段和所述结束时间字段对应的业务类型字段，获取预设在所述存储介质中的查询请求，所述查询请求包括查询时间范围、一项或多项中间统计语句；

在所述日志数据报表中，查找在所述查询时间范围内的所述开始时间字段和所述结束时间字段对应的所有业务类型字段，通过所述中间统计语句对所述业务类型字段逐一进行运算，得到一项或多项运算结果，分别将所述中间统计语句、所述查询时间范围和所述运算结果保存在一项或多项子报表中；

获取目标时间范围和目标统计语句，从预设在所述存储介质中的统计列表中查找与所述目标统计语句对应的目标中间统计语句，所述统计列表中含有与所述目标统计语句对应的聚合统计语句、一项或多项目标中间统计语句，在所述子报表中查找与所述目标中间统计语句相同的所述中间统计语对应的运算结果，提取所述目标时间范围内的所述运算结果；

从所述统计列表中查找与所述目标统计语句对应的聚合统计语句，通过所述聚合统计语句对提取的所述运算结果进行聚合运算，生成查询统计结果。

在其中一个实施例中，所述获取预设在存储介质中的日志数据报表前，包括：

通过日志数据采集器采集业务系统中的日志文件；

将所述日志文件通过提取器解析成多个有效字段信息，所述有效字段信息包括开始时间字段、结束时间字段和业务类型字段；

将多个所述有效字段信息存储在所述日志数据报表中。

在其中一个实施例中，所述获取预设在所述存储介质中的查询请求，包括：

在所述存储介质中预设查询定时任务，所述查询定时任务为目多个查询请求的轮询列表，调用查询定时脚本，定时获取所述查询请求。

在其中一个实施例中，所述目标统计语句为统计函数，所述统计函数包括求最大值、求最小值、求和、求平均值、求数目、标准差或非重复结果的数目中的至少一项；