[发明专利]数据动态实时更新方法、装置及存储介质

权利要求书

1.一种数据动态实时更新方法，应用于电子装置，其特征在于，所述方法包括：

S1、通过预先设置的STORM拓扑结构接收数据信息；

S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；

S3、将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；

S4、将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；

S5、解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。

2.根据权利要求1所述的数据动态实时更新方法，其特征在于，所述步骤S3中，当RTM树存储引擎内的数据信息达到阈值后，将数据信息存入一级缓存的方法包括：

S110、所述RTM树存储引擎在接收数据转换后的数据信息后，计算RTM树存储引擎内已有数据信息的信息量；

S120、判断所述信息量是否大于预设信息量阈值，若是，则触发RTM树存储引擎对所存储的数据信息进行归并操作；若否，则重复S110的步骤；

S130、将归并操作后的数据信息存储入一级缓存。

3.根据权利要求2所述的数据动态实时更新方法，其特征在于，当所述RTM树存储引擎在接收数据转换后的数据信息后，还包括数据信息的类型判定过程，所述类型判定过程包括：

判断所接收的数据信息的类型与设定类型是否一致，若不一致，则丢弃所述数据信息，并继续接收新的数据信息；

若一致，则删除一级缓存中的原有的同类型数据信息，并将所接收的数据信息继续进行信息量与信息量阈值的判定。

4.根据权利要求2或3所述的数据动态实时更新方法，其特征在于，在二级缓存接收一级缓存中的数据信息之前，还包括对一级缓存中数据信息的时间戳的判定过程，所述时间戳的判定过程包括：

读取存入一级缓存的数据信息的时间戳，计算所述时间戳与现有时间的时间差；

判定所述时间差是否大于预设的时间阈值，若大于，则判定一级缓存中的此数据信息过时，等待新的数据信息的；

若小于，则判定此数据信息未过时，调取此数据信息。

5.根据权利要求1所述的数据动态实时更新方法，其特征在于，所述步骤S5中，对已入库二级缓存数据文件数量进行更新后，还包括：

生成新的待写入二级缓存数据文件，等待下一次二级缓存数据文件的写入。

6.一种数据动态实时更新系统，其特征在于，包括数据信息接收单元、数据信息转换单元、一级缓存存入单元、二级缓存存入单元以及二级缓存更新单元；其中，

数据信息接收单元，用于通过预先设置的STORM拓扑结构接收数据信息；

数据信息转换单元，用于通过STORM拓扑结构的发射节点接收到数据信息后，将数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；

一级缓存存入单元，用于将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；

二级缓存存入单元，用于数据信息按照类型信息将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；

二级缓存更新单元，用于解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。