[发明专利]实时数据统计装置和方法以及计算机可读存储介质

说明书

本发明公开了一种实时数据统计装置和方法以及计算机可读存储介质，涉及实时数据处理领域。实时数据统计装置包括：一级统计模块，被配置为采用预设的时间粒度对获取的原始数据进行统计，生成包括原始数据中的统计项和统计结果字段的中间统计数据，将中间统计数据写入一级缓存单元中；二级统计模块，被配置为读取多个一级缓存单元中的中间统计数据，将统计项的值相同的中间统计数据写入同一个二级缓存单元中；三级统计模块，被配置为对每个二级缓存单元中的数据进行统计，生成最终统计数据，并将每个二级缓存单元生成的最终统计数据进行持久化存储。本发明通过对数据进行多级处理，实现了数据的均匀多点分布，提高了实时数据统计的效率。

技术领域

本发明涉及实时数据处理领域，特别涉及一种实时数据统计装置和方法以及计算机可读存储介质。

背景技术

针对海量数据的实时统计，传统的实时数据统计方法大多基于批处理模式，实时数据流需要预先存储在数据库管理系统中才可进行后续的统计计算。相关技术主要使用关系型数据库，比如Oracle、MySQL等存储原始数据流，并根据数据统计逻辑编写相应的SQL(Structured Query Language，结构化查询语言)语句和统计脚本，并将统计脚本得到的最终统计结果保存到数据库。然而，相关技术在海量实时数据环境下，统计逻辑计算比较复杂，导致数据库计算和读写性能下降。

发明内容

本发明实施例所要解决的一个技术问题是：如何提高实时数据统计的效率。

根据本发明一些实施例的第一个方面，提供一种实时数据统计装置，包括：一级统计模块，被配置为采用预设的时间粒度对获取的原始数据进行统计，生成包括原始数据中的统计项和统计结果字段的中间统计数据，将中间统计数据写入一级缓存单元中；二级统计模块，被配置为读取多个一级缓存单元中的中间统计数据，将统计项的值相同的中间统计数据写入同一个二级缓存单元中；三级统计模块，被配置为对每个二级缓存单元中的数据进行统计，生成最终统计数据，并将每个二级缓存单元生成的最终统计数据进行持久化存储。

在一些实施例中，一级统计模块、二级统计模块、三级统计模块并行执行。

在一些实施例中，一级统计模块包括多个一级统计进程，每个一级统计进程被配置为从与一级统计进程预先关联的数据源中获取原始数据；或者，二级统计模块包括多个二级统计进程，每个二级统计进程被配置为从二级统计进程预先关联的一级缓存单元中读取中间统计数据；或者，三级统计模块包括多个三级统计进程，每个三级统计进程分别被配置为统计三级统计进程预先关联的每个二级缓存单元中的数据，三级统计进程的数量等于二级缓存单元的数量。

在一些实施例中，实时数据统计装置还包括：位于一级统计模块、二级统计模块、三级统计模块中的一个或多个中的主进程单元，被配置为读取配置中心的配置信息，并根据配置信息创建、监控、重建、或销毁一级统计模块的一级统计进程、二级统计模块的二级统计进程、三级统计模块的三级统计进程中的一个或多个。

在一些实施例中，一级缓存单元为队列类型；或者，二级缓存单元为有序集合类型；二级统计模块进一步被配置为向中间统计数据添加通用唯一识别码字段和值。

在一些实施例中，一级统计模块进一步被配置为采用随机轮询的方式将每条中间统计数据写入多个一级缓存单元中的一个。

在一些实施例中，二级统计模块进一步被配置为计算每条中间统计数据的统计项的值的哈希值，将计算出的哈希值相同的中间统计数据写入同一个二级缓存单元中。

在一些实施例中，实时数据统计装置还包括一级缓存单元、二级缓存单元、配置中心中的一种或多种；其中，配置中心被配置为存储一级统计模块、二级统计模块、三级统计模块的配置信息。

在一些实施例中，一级缓存单元和二级缓存单元为内存数据库Redis的节点。