[发明专利]一种实现实时数据同步的系统及方法

权利要求书

1.一种实现实时数据同步的系统，其特征在于，包括：

实时数据收集模块，用于将采集的数据形成固定格式的日志数据；

实时计算模块，用于提取所述日志数据中有用的字段并进行计算；

实时同步模块，用于将所述实时计算模块的计算结果与关系型数据库中的历史数据同步或合并。

2.根据权利要求1所述的实现实时数据同步的系统，其特征在于，所述关系型数据库包括：事实表与聚合表；所述关系型数据库用于按照预设的格式存储所述实时计算模块输出的数据。

3.根据权利要求2所述的实现实时数据同步的系统，其特征在于，若将所述实时计算模块的计算结果保存至关系型数据库中的事实表，则将计算结果按照所述计算结果的维度信息插入至事实表中。

4.根据权利要求2所述的实现实时数据同步的系统，其特征在于，所述系统还包括：查询模块，若将所述实时计算模块的计算结果保存至关系型数据库中的聚合表，则查询所述聚合表中是否存在对应维度下的历史计算结果。

5.根据权利要求4所述的实现实时数据同步的系统，其特征在于，若所述聚合表中不存在对应维度下的历史计算结果，则将所述计算结果作为一条新的记录按照所述计算结果的维度信息插入所述聚合表中；

若所述聚合表中存在对应维度下的历史计算结果，则将聚合表中保存的对应维度下的历史计算结果与所述实时计算模块的计算结果进行合并后写入关系型数据库的聚合表中。

6.根据权利要求2所述的实现实时数据同步的系统，其特征在于，所述系统还包括：数据加载模块，用于将所述事实表中的历史数据按照所述聚合表中数据的维度进行聚合计算，并将聚合计算的结果加载至聚合表。

7.根据权利要求1所述的实现实时数据同步的系统，其特征在于，所述系统还包括：缓存更新模块，用于调用API接口清除系统缓存。

8.一种实现实时数据同步的方法，其特征在于，包括：

S1、将采集的数据形成固定格式的日志数据；

S2、提取所述日志数据中有用的字段并进行计算；

S3、将计算结果与关系型数据库中的历史数据同步或合并。

9.根据权利要求8所述的实现实时数据同步的方法，其特征在于，所述步骤S3还包括：S31、若将所述计算结果保存至关系型数据库中的事实表，则将计算结果按照所述计算结果的维度信息插入至事实表中。

10.根据权利要求8所述的实现实时数据同步的方法，其特征在于，所述步骤S3还包括：S32、若将所述计算结果保存至关系型数据库中的聚合表，则查询所述聚合表中是否存在对应维度下的历史计算结果；

S321、若不存在，则将所述计算结果作为一条新的记录按照所述维度信息插入所述聚合表中；

S322、若存在，则将聚合表中保存的对应维度下的历史计算结果与所述计算结果进行合并后写入关系型数据库的聚合表中。