[发明专利]一种基于消息引擎的分布式系统数据同步方法及系统

说明书

本公开公开了一种基于消息引擎的分布式系统数据同步方法及系统，获取业务系统的配置文件，存储至整合平台；新建数据查询库，获取业务更新数据，根据业务更新数据所属的业务类型，分类存储至数据查询库；根据业务更新数据所属的业务类型，向对应的业务系统发送心跳请求，并接收业务系统的心跳反馈信息；提取待推送的业务更新数据，并通过消息引擎将待推送的业务更新数据发布至业务系统。业务系统通过主动发送更新请求的方式，最大限度的保证各个业务子系统基础数据的完整性；整合平台通过消息引擎服务订阅模式保证各个业务系统即使是在宕机时也可以在重启后服务后第一时间更新最新的业务数据。

技术领域

本公开涉及计算机软件系统数据集成技术领域，具体涉及一种基于消息引擎的分布式系统数据同步方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着信息化程度的不断提高，集团化的业务应用产生了大量的业务基础数据，企业对于精细化业务分类的数据同步要求也越来越高。为保证得到可靠的数据应用结果，要求必须使用完整的、一致的、准确的、实时的数据，在传统的数据集成中一般只是简单的通过ETL工具进行定时抽取，这样就造成数据无法及时更新，同时出于数据安全性方面的考虑直连模式越来越不被认可；

而常见的业务系统数据集成一般只是做单项的数据推送，该集成模式存在以下技术问题：各业务子系统只能被动接受服务提供方的数据更新推送，无法主动更新数据；各个业务子系统同时更新时，服务提供方并发压力和数据传输比较大；任何一个业务子系统出现意外宕机时，无法及时更新同步最新数据。

发明内容

为了解决上述问题，本公开提出了一种基于消息引擎的分布式系统数据同步方法及系统，业务系统通过主动发送更新请求的方式，最大限度的保证各个业务子系统基础数据的完整性；整合平台通过消息引擎服务订阅模式保证各个业务系统即使是在宕机时也可以在重启后服务后第一时间更新最新的业务数据。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供一种基于消息引擎的分布式系统数据同步方法，包括：

获取业务系统的配置文件，所述配置文件包括业务类型、最新业务数据以及最新时间戳，存储至整合平台；

新建数据查询库，获取业务更新数据，根据业务更新数据所属的业务类型，分类存储至数据查询库；

根据业务更新数据所属的业务类型，向对应的业务系统发送心跳请求，并接收业务系统的心跳反馈信息；

提取待推送的业务更新数据，并通过消息引擎将待推送的业务更新数据发布至业务系统。

作为可能的一些实现方式，整合平台存储业务系统的配置文件，在发送心跳请求时，根据业务更新数据的业务类型与业务系统的业务类型进行匹配，匹配成功后，发送心跳请求至业务系统。

作为可能的一些实现方式，在业务更新数据推送过程中，实时接收业务系统的反馈信息，若在设定的时间段内未接收到反馈信息，则再次发送心跳请求，直至业务系统恢复正常运行状态，从断点处继续推送。

作为可能的一些实现方式，整合平台若在设定时间段内未接收到反馈信息，则再次发送心跳请求，并且将该业务系统的推送进程保存至发布队列中，业务系统恢复正常后，提取发布队列中的该业务系统的推送进程，继续从断点处推送。

本公开通过发布订阅模式，基于开源式消息引擎，既保证了数据同步的稳定性，又实现了业务数据的实时更新与同步，避免现有技术中简单的通过ETL工具进行定时抽取，造成数据无法及时更新的问题；

以及业务系统出现意外宕机问题时，也可通过本公开的发布订阅模式，在业务系统恢复后，仍能及时同步更新数据；