[发明专利]数据动态实时更新方法、装置及存储介质

说明书

本发明涉及数据处理技术领域，提出一种数据动态实时更新方法、装置及存储介质，其中的方法包括：S1、通过STORM拓扑结构接收数据信息；S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并进行数据转换；S3、将数据转换后的数据信息存储入RTM树存储引擎，并存入一级缓存；S4、将一级缓存中的数据信息按照类型信息放入任务队列中，并依次存储入二级缓存；S5、解析存入二级缓存中的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库。本发明通过在将数据信息存储入一级缓存中，并直接从一级缓存中调用数据信息，大大提升了数据更新效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据动态实时更新方法、装置及存储介质。

背景技术

在分布式服务器运行中，当出现更新的信息数据时，信息数据传输至数据库，然后服务器依次经缓存、内存和数据库读取数据信息。数据信息的入库和调用均需占用较多时间，增大了服务器的负载；且当对数据信息的实时性要求较高时，获取的数据为缓存或内存中过时的数据信息，存在错误率较高的问题。

现有技术中通过采取定时更新的方式进行数据更新，通过配置定时器的间隔时间，例如5分钟或者10分钟一次，在到达设定间隔时段后自动调用预先设定的计划任务；定时器在固定时间触发一次定时任务引擎，进而执行数据更新脚本。当某个功能任务的执行时间较长时，则采用定时器每隔一段时间系统自动执行上述功能任务。上述方法，通过设置定时器而实现数据更新的目的；当任务界面真实触发时，不需要执行复杂的逻辑判断，即可只读取结果。但是，但是上述方法存在的弊端如下：存在及时性低、不能及时反馈当前数据的真实状态。

另外一种数据更新是通过采用信息通知的方式实现，当分布式服务器中的一个数据库有数据更新，通过发通知的方式告知其他服务器进行数据同步；一旦数据库的数据发生变化，通知每个分布的服务器更新内存数据，每个分布的服务器获取消息进行更新。上述方法实时性有所增强，但是面对一些对时间实时要求较高的场景，仍存在数据更新延迟的风险。

所以，亟需一种高及时性的数据动态实时更新的方法。

发明内容

本发明提供一种数据动态实时更新方法、电子装置及计算机可读存储介质，其主要通过将数据信息存储入一级缓存中，并在服务器运行时，直接从一级缓存中调用数据信息，减少了数据入库和数据更新造成的延时，从而大大缩短了数据更新时间。

为实现上述目的，本发明还提供一种数据动态实时更新方法，应用于电子装置，方法包括：

S1、通过预先设置的STORM拓扑结构接收数据信息；

S2、STORM拓扑结构的发射节点将所接收的数据信息发送至STORM拓扑结构的处理节点，并通过处理节点对数据信息进行数据转换；其中，所述处理节点与RTM树存储引擎相关联；

S3、将数据转换后的数据信息存储入RTM树存储引擎，当RTM树存储引擎内的数据信息的信息量达到预设信息量阈值后，将存储入所述RTM树存储引擎的数据信息存入一级缓存；

S4、将所述一级缓存中的数据信息按照类型信息放入任务队列中，通过所述任务队列将存入所述一级缓存的数据信息依次存储入二级缓存；

S5、解析存入二级缓存的数据信息，并将解析后的数据信息存入与数据库对应的入库准备数据文件中，将入库准备数据文件中的数据信息录入对应的数据库，并更新任务队列中的已入库二级缓存数据文件数量。数据信息按照类型信息

进一步，优选的，当RTM树存储引擎内的数据信息达到阈值后，将数据信息存入一级缓存的方法包括：

S110、所述RTM树存储引擎在接收数据转换后的数据信息后，计算RTM树存储引擎内已有数据信息的信息量；