[发明专利]基于消息队列的数据异步更新方法及装置

说明书

本发明公开了基于消息队列的数据异步更新方法及装置，包括：建模服务模块根据数据更新指令确定需要更新的初始数据；消息服务模块将由初始数据确定出的目标数据写入第一消息队列；缓存服务模块从第一消息队列中读取目标数据并加载到内存中，被加载到内存的数据用于发布；写库服务模块将从第一消息队列中读取的目标数据写入数据库。可见，本发明能够通过消息队列接收数据并持久化存储到本地，避免了数据先写入数据库的过程，还将数据推送至缓存服务并由缓存服务发布，减少了直接从数据库读取数据的过程，最后由写库服务异步将数据写入数据库，减少写入数据库的数据量，在降低数据库读写压力的同时，减少数据更新时的卡顿现象，提高数据更新效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于消息队列的数据异步更新方法及装置。

背景技术

当前，用户数量庞大的领域(如电网领域等)每天均会产生大量的数据，这些数据包括但不限于提交的数据、需要修改的数据以及自动采集到的数据，且相关人员也可以根据实际需求主动访问新产生的数据或者通过订阅的方式实时获取新产生的数据。

在实际应用中，对于新产生的数据而言，需要等其被成功写入数据库并被加载到缓存之后才能被获取。然而实践发现，数据被写入数据库的过程较为缓慢，相关人员使用相关终端(如建模客户端)在进行数据更新时存在卡顿的现象，此外，由于数据被写入数据库并将数据读取到缓存的过程中会频繁读写数据库，降低了数据库的性能，进一步会导致在进行数据更新时存在操作不流畅的现象，不利于提高数据更新效率。

发明内容

本发明所要解决的技术问题在于，提供一种基于消息队列的数据异步更新方法及装置，能够在数据更新时减少卡顿现象，提高数据更新效率。

为了解决上述技术问题，本发明第一方面公开了一种基于消息队列的数据异步更新方法，所述方法包括：

建模服务模块接收数据更新指令，并根据所述数据更新指令确定需要更新的初始数据；

消息服务模块将根据所述初始数据确定出的目标数据写入第一消息队列中；

缓存服务模块从所述第一消息队列中读取所述目标数据，并将从所述第一消息队列中读取的所述目标数据加载到预先确定出的内存中，加载至所述内存的数据用于发布至展示终端处进行展示；

写库服务模块从所述第一消息队列中读取所述目标数据，并将从所述第一消息队列中读取到的所述目标数据写入对应的数据库中。

作为一种可选的实施方式，在本发明第一方面中，所述消息服务模块将根据所述初始数据确定出的目标数据写入第一消息队列中，包括：

对所述建模服务模块确定出的所述初始数据执行预处理操作，得到需要更新的目标数据，并将所述目标数据写入第一消息队列中；

其中，所述预处理操作包括数据校验操作、数据合并操作以及数据锁定操作中的至少一种。

作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

撤销重做服务模块构造所述目标数据对应的撤回消息，并将所述目标数据对应的撤回消息写入预先生成的快照表中。

作为一种可选的实施方式，在本发明第一方面中，所述消息服务模块将根据所述初始数据确定出的目标数据写入第一消息队列中之后，所述方法还包括：

所述消息服务模块向所述缓存服务模块和/或所述写库服务模块发送数据更新提示，以提示当前存在需要更新的数据；

以及，所述缓存服务模块从所述第一消息队列中读取所述目标数据，并将从所述第一消息队列中读取的所述目标数据加载到预先确定出的内存中之后，所述方法还包括：

所述缓存服务模块以矢量切片的形式发布所述目标数据。