[发明专利]存储统计数据的方法和系统

权利要求书

1.一种存储统计数据的方法，其特征在于，包括：

聚合应用步骤：将采集到的信息根据配置进行聚合，得到多个时间颗粒度的聚合语句，将聚合语句应用到与多个时间颗粒度对应的数据库中。

2.根据权利要求1所述的存储统计数据的方法，其特征在于，所述聚合应用步骤中，将实时采集的交易信息根据配置生成维度字段和指标字段，按照时间维度和/或自定义维度进行统计数据的聚合，得到初步聚合的统计数据，然后将初步聚合的统计数据均匀分发到下级处理器，在下级处理器中再进一步聚合后，生成各个时间颗粒度的聚合语句。

3.根据权利要求1所述的存储统计数据的方法，其特征在于，所述聚合应用步骤包括如下步骤：

数据采集步骤：实时采集网络上的交易数据，得到原始交易数据；

数据预处理步骤：对原始交易数据进行预处理；

数据聚合步骤：根据原始交易数据的预处理结构，生成数据更新语句；

数据存储步骤：将数据更新语句应用到数据库中；

所述数据预处理步骤包括：

字段提取步骤：根据预先自定义的配置，从原始交易数据中提取出聚合维度字段和统计指标字段；

所述数据聚合步骤包括：

预先聚合应用步骤：根据最小单位时间，针对聚合维度字段和统计指标字段，对原始交易数据预先聚合一次，形成结构化统计数据；

分发步骤：提取出结构化统计数据中的id字段进行哈希处理，哈希后的结果与根据最小单位时间进行预先聚合的步骤的数量取模后的结果分发到下级数据聚合步骤处理；

所述数据存储步骤包括：

数据更新语句获取步骤：按照结构化统计数据，同时生成多个时间颗粒度的数据更新语句；

语句应用步骤：将数据更新语句应用到各个时间颗粒度下的数据库。

4.根据权利要求1所述的存储统计数据的方法，其特征在于，包括：

查询步骤：根据查询条件中的时间范围，生成查询语句，发送给相应的数据库进行查询；和/或

数据合并步骤：合并各个数据库查询的结果。

5.根据权利要求4所述的存储统计数据的方法，其特征在于，

在所述查询步骤中，提取前台发送的查询条件中的时间范围，根据大时间颗粒度优先原则拆分成各个时间范围，然后分析剩余的查询条件判断出需要查询的数据库，然后将拆分的时间范围和剩余的查询条件组合成查询语句，然后根据判断出的查询数据库将查询语句发送给各个数据库，最后将各个数据库的查询结果合并；

在所述数据合并步骤中，获取多个查询结果后，依照查询条件，如果查询的是时序数据，则直接合并多个查询结果，按照时间排序；如果查询的是非时序数据，则再次聚合数据。

6.一种存储统计数据的系统，其特征在于，包括：

聚合应用模块：将采集到的信息根据配置进行聚合，得到多个时间颗粒度的聚合语句，将聚合语句应用到与多个时间颗粒度对应的数据库中。

7.根据权利要求1所述的存储统计数据的系统，其特征在于，所述聚合应用模块中，将实时采集的交易信息根据配置生成维度字段和指标字段，按照时间维度和/或自定义维度进行统计数据的聚合，得到初步聚合的统计数据，然后将初步聚合的统计数据均匀分发到下级处理器，在下级处理器中再进一步聚合后，生成各个时间颗粒度的聚合语句。