[发明专利]一种保证海量数据缓存实时性和一致性的系统及方法

权利要求书

1.一种保证海量数据缓存实时性和一致性的系统，其特征是，包括：

数据流提取模块：采用数据库日志方式从实际数据存储模块中提取出变化数据流；

基于流处理的数据缓存模块：采用流处理的方法将提取出的变化数据流复制到目标数据缓存模块，在复制的过程中先将变化数据流拆分成数据元组，将数据元组拆分成数据域，仅仅对发生变化的数据域进行处理后，又将数据域进行聚合，最后写入目标数据缓存，从而保证数据缓存的一致性；在复制的过程中，仅仅用缓冲域库存储中间结果，保证了数据缓存的实时性；

所述基于流处理的数据缓存模块，包括：

域分发数据处理单元，将提取的变化数据流中的数据元组拆分为数据域，按照域分发到不同域过滤数据处理单元，降低数据维度；

域过滤数据处理单元，将拆分的数据域进一步过滤，仅仅提取发生变化的数据域，减少数据缓存一致数据流的处理量，未变化的数据域丢弃不处理；

域缓冲数据处理单元，将域过滤数据处理单元输出的数据域临时存储于缓冲域库；

域聚合数据处理单元，将数据域进行聚合为数据元组，提升数据维度，写入到目标数据缓存，完成数据缓存一致过程。

2.如权利要求1所述的一种保证海量数据缓存实时性和一致性的系统，其特征是，

所述实际数据存储模块：海量数据的实际物理存储，采用数据库存储海量数据；

所述目标数据缓存模块：进行海量数据的缓存；

所述采用数据库存储海量数据是指采用关系数据库、无模式数据库存储海量数据。

3.如权利要求1所述的一种保证海量数据缓存实时性和一致性的系统，其特征是，

所述缓冲域库，是域过滤数据处理输出的数据域临时副本；当域过滤数据处理输出的数据域经域聚合数据处理成功复制到目标数据缓存后，从缓冲域库中删除。

4.如权利要求1所述的一种保证海量数据缓存实时性和一致性的系统，其特征是，

所述域过滤数据处理单元与域缓冲数据处理单元之间还允许包括：

异常检测单元：检测海量数据缓存一致过程是否出错；若检测出错，一致过程出现异常，转流数据重放单元；若检测正常，转到域缓冲数据处理单元，域缓冲数据处理单元处理后进入域聚合数据处理单元；

流数据重放单元：对缓冲域库中的数据域进行流数据重放，从检测失败点处恢复数据缓存即时一致过程，最后进入域聚合数据处理单元。

5.一种保证海量数据缓存实时性和一致性的方法，其特征是，包括：

数据流提取步骤：采用数据库日志方式从实际数据存储模块中提取出变化数据流；

基于流处理的数据缓存步骤：采用流处理的方法将提取出的变化数据流复制到目标数据缓存模块，在复制的过程中先将变化数据流拆分成数据元组，将数据元组拆分成数据域，仅仅对发生变化的数据域进行处理后，又将数据域进行聚合，最后写入目标数据缓存，从而保证数据缓存的一致性；在复制的过程中，仅仅用缓冲域库存储中间结果，保证了数据缓存的实时性；

所述基于流处理的数据缓存步骤，包括：

域分发数据处理子步骤，将提取的变化数据流中的数据元组拆分为数据域，按照域分发到不同域过滤数据处理单元，降低数据维度；

域过滤数据处理子步骤，将拆分的数据域进一步过滤，仅仅提取发生变化的数据域，减少数据缓存一致数据流的处理量，未变化的数据域丢弃不处理；

域缓冲数据处理子步骤，将域过滤数据处理单元输出的数据域临时存储于缓冲域库；

域聚合数据处理子步骤，将数据域进行聚合为数据元组，提升数据维度，写入到目标数据缓存，完成数据缓存一致过程；

所述变化数据流由多条发生变化的数据元组组成，每个数据元组由多个数据域构成。

6.如权利要求5所述的一种保证海量数据缓存实时性和一致性的方法，其特征是，

所述实际数据存储模块：海量数据的实际物理存储，采用数据库存储海量数据；

所述目标数据缓存模块：进行海量数据的缓存；

所述采用数据库存储海量数据是指采用关系数据库、无模式数据库存储海量数据。

7.如权利要求5所述的一种保证海量数据缓存实时性和一致性的方法，其特征是，

所述缓冲域库，是域过滤数据处理子步骤输出的数据域临时副本；当域过滤数据处理输出的数据域经域聚合数据处理成功复制到目标数据缓存后，从缓冲域库中删除。

8.如权利要求5所述的一种保证海量数据缓存实时性和一致性的方法，其特征是，

所述域过滤数据处理子步骤与域缓冲数据处理子步骤之间还允许包括：

异常检测子步骤：检测海量数据缓存一致过程是否出错；若检测出错，一致过程出现异常，转流数据重放子步骤；若检测正常，转到域缓冲数据处理子步骤，域缓冲数据处理子步骤处理后进入域聚合数据处理子步骤；

流数据重放子步骤：对缓冲域库中的数据域进行流数据重放，从检测失败点处恢复数据缓存即时一致过程，最后进入域聚合数据处理子步骤。