[发明专利]基于消息队列及微服务的数据同步方法、装置及系统

说明书

本申请公开了一种基于消息队列及微服务的数据同步方案，包括：注册并加载数据同步服务以创建数据同步模块；创建消息队列服务的长连接，创建微服务的长连接；接收或收集待同步数据；以消息队列协议方式将所接收到的待同步数据以消息内容形式发送给数据同步处理服务模块；通过在监测期间捕捉发送异常信息来判断在利用消息队列协议进行数据同步期间是否发生了数据同步失败的情况：如果确定发生了数据同步失败的情况，则启动数据同步补偿机制以微服务的方式再次将所述消息内容发送给所述数据同步处理服务模块；以及所述数据同步处理服务模块接收从所述数据同步模块发送的消息内容并对所述消息内容进行数据同步处理。

技术领域

本申请涉及数据同步和转换处理领域，更具体而言，涉及一种基于分布式消息队列及微服务的数据映射同步方法、装置及系统。

背景技术

数据同步技术是指在不同存储设备、或终端与终端，终端与服务器之间的数据备份与信息共享操作，使得存储在各个数据源处的数据保持完整性和统一性。

目前数据同步处理领域常见的主流同步方式包括下述几种：

1）任务调度数据同步方式，该方式通过由任务调度管理系统加载注册的定时程序基于定时器配置的时间点来定时执行数据同步操作。这种基于任务调度的定时数据同步的方式对于一些实时性要求较高的应用场景，例如支付场景，会存在处理上的时间差异，无法实现实时的数据同步处理。因此，存在数据同步实时性问题。

2）运行脚本任务方式，该方式以数据库运行脚本形式，或服务器Shell脚本的形式配置系统定时任务以执行完成数据同步操作。这种数据库运行脚本形式的数据同步方式本质上还是基于预定的时间点来定时执行数据同步操作，因此，它还是无法解决数据同步实时性问题。

3）数据库触发器同步方式，即利用数据库自带的触发器在数据写入或更新时执行数据同步处理和转换。这种触发器数据同步方式是基于数据表记录写入或更新操作来触发完成数据同步转换，因此，其能够实现实时的数据同步。但同时，由于当读写操作较多时，每次读写都会触发相应的数据同步操作，因此，对数据库本身的性能消耗较大，同时影响原系统逻辑的处理效率。

4）单纯依赖消息队列的同步方式，该方式基于消息队列的生产者和消费者模式，在系统做出数据操作的同时，发送相关的消息至消息队列中间件，再转由同步服务处理。所述消息队列的同步方式主要具有异步、低耦合、消峰填谷等优点，但是其也存在诸如可用性、复杂性、一致性等问题。

另外，除了上述现有的几种主流数据同步技术自身存在的各种问题之外，现有的数据同步技术还存在诸如下述的共同技术问题：

跨数据源或数据库实例同步问题，即现有同步技术无法实现多目标数据源的同步方式；同步规则可配置性问题，即在不同类型的数据库之间进行同步时，可能涉及到数据的转换，而数据转换过程中所使用的基本参数、转换规则、映射关系、目标数据源配置等随着所涉及的数据库的类型不同而不同，因此，这就导致同步规则的可配置性极差，不具有通用性；数据同步过程的可靠性问题，当数据同步由于例如软件、硬件或网络故障而失败时，上述这些现有的数据同步技术都缺乏有效的补偿及预警机制，这导致数据同步失败，进而影响数据的可靠性。

因此，存在一种需求，希望能够提供一种能够克服上述现有数据同步方式中的各种问题，同时又简单高效的数据同步方案。

发明内容

为了解决上述问题，本申请提供了一种基于分布式消息队列及微服务的数据映射同步方法、装置及系统。