[发明专利]实时数据统计装置和方法以及计算机可读存储介质

权利要求书

1.一种实时数据统计装置，包括：

一级统计模块，被配置为采用预设的时间粒度对获取的原始数据进行统计，生成包括原始数据中的统计项和统计结果字段的中间统计数据，将中间统计数据写入一级缓存单元中；

二级统计模块，被配置为读取多个一级缓存单元中的中间统计数据，将所述统计项的值相同的中间统计数据写入同一个二级缓存单元中；

三级统计模块，被配置为对每个二级缓存单元中的数据进行统计，生成最终统计数据，并将每个二级缓存单元生成的最终统计数据进行持久化存储。

2.根据权利要求1所述的实时数据统计装置，其中，一级统计模块、二级统计模块、三级统计模块并行执行。

3.根据权利要求1所述的实时数据统计装置，其中，

所述一级统计模块包括多个一级统计进程，每个一级统计进程被配置为从与所述一级统计进程预先关联的数据源中获取原始数据；或者，

所述二级统计模块包括多个二级统计进程，每个二级统计进程被配置为从所述二级统计进程预先关联的一级缓存单元中读取中间统计数据；或者，

所述三级统计模块包括多个三级统计进程，每个三级统计进程分别被配置为统计所述三级统计进程预先关联的每个二级缓存单元中的数据，所述三级统计进程的数量等于所述二级缓存单元的数量。

4.根据权利要求3所述的实时数据统计装置，还包括：

位于一级统计模块、二级统计模块、三级统计模块中的一个或多个中的主进程单元，被配置为读取配置中心的配置信息，并根据配置信息创建、监控、重建、或销毁一级统计模块的一级统计进程、二级统计模块的二级统计进程、三级统计模块的三级统计进程中的一个或多个。

5.根据权利要求1所述的实时数据统计装置，其中，

所述一级缓存单元为队列类型；或者，

所述二级缓存单元为有序集合类型；所述二级统计模块进一步被配置为向中间统计数据添加通用唯一识别码字段和值。

6.根据权利要求1所述的实时数据统计装置，其中，所述一级统计模块进一步被配置为采用随机轮询的方式将每条中间统计数据写入多个一级缓存单元中的一个。

7.根据权利要求1所述的实时数据统计装置，其中，所述二级统计模块进一步被配置为计算每条中间统计数据的统计项的值的哈希值，将计算出的哈希值相同的中间统计数据写入同一个二级缓存单元中。

8.根据权利要求1所述的实时数据统计装置，还包括一级缓存单元、二级缓存单元、配置中心中的一种或多种；

其中，所述配置中心被配置为存储一级统计模块、二级统计模块、三级统计模块的配置信息。

9.根据权利要求8所述的实时数据统计装置，其中，一级缓存单元和二级缓存单元为内存数据库Redis的节点。

10.一种实时数据统计方法，包括：

一级统计模块采用预设的时间粒度对获取的原始数据进行统计，生成包括原始数据中的统计项和统计结果字段的中间统计数据，将中间统计数据写入一级缓存单元中；

二级统计模块读取多个一级缓存单元中的中间统计数据，将所述统计项的值相同的中间统计数据写入同一个二级缓存单元中；

三级统计模块对每个二级缓存单元中的数据进行统计，生成最终统计数据，并将每个二级缓存单元生成的最终统计数据进行持久化存储。

11.根据权利要求10所述的实时数据统计方法，其中，一级统计模块、二级统计模块、三级统计模块并行执行。