[发明专利]数据同步的系统、方法、装置和计算机存储介质

说明书

本发明实施例提供给了一种数据同步系统、方法、装置和计算机存储介质。所述系统包括数据监听模块、消息分发模块、数据同步模块、以及配置管理模块；数据监听模块，用于对数据源进行监听以获取数据源的数据变更记录；消息分发模块，用于创建与数据源对应的消息队列，将数据变更记录加入到消息队列中；配置管理模块，用于管理数据源的同步配置参数；数据同步模块，用于获取同步配置参数，按照同步配置参数创建消费协程；由消费协程监听消息队列，按照同步配置参数将数据变更记录更新到目标存储中。

技术领域

本发明涉及数据信息处理技术领域，更具体地，涉及数据同步系统、数据同步方法、数据同步装置和计算机存储介质。

背景技术

当某些数据设备中存储的数据发生变化，其他数据设备中存储的此类数据需要做相应的改变，使得所有数据中存储的设备保持一致，这就是数据同步。在大数据时代，数据同步显得越来越重要。不管是数据的加工生产过程中，还是在数据的提取和传输过程中，都需要进行数据同步。

在现有技术中，数据同步采用的工具通常有datax、sqoop等。这些工具通过定时定量的方式将数据同步到指定的存储中，不能在数据源发生数据变更后立即进行同步，无法达到实时同步的效果。

发明内容

根据本发明的第一方面，提供一种数据同步系统，包括数据监听模块、消息分发模块、数据同步模块、以及配置管理模块；

所述数据监听模块，用于对数据源进行监听，以获取所述数据源的数据变更记录；

所述消息分发模块，用于创建与所述数据源对应的消息队列，从所述数据监听模块获取所述数据源的数据变更记录并将所述数据源的数据变更记录加入到与所述数据源对应的消息队列中；

所述配置管理模块，用于管理所述数据源的同步配置参数，所述数据源的同步配置参数包括所述数据源的标识、目标存储的位置、以及与所述数据源对应的消息队列的标识；

所述数据同步模块，用于监听所述配置管理模块以获取所述数据源的同步配置参数，按照所述数据源的同步配置参数创建与所述消息队列对应的消费协程；以及，由所述消费协程监听对应的所述消息队列，以消费对应的所述消息队列中写入的数据变更记录，按照所述数据源的同步配置参数将所述消息队列中写入的数据变更记录更新到对应的目标存储中。

可选地或优选地，所述消息分发模块采用Kafka分布式发布订阅消息系统。

可选地或优选地，所述配置管理模块采用Zookeeper分布式应用程序协调服务系统。

可选地或优选地，所述数据源的同步配置参数还包括与所述数据源对应的消息队列的并发速度；所述数据同步模块，还用于按照所述并发速度确定需要创建的与所述消息队列对应的消费协程的数量。

可选地或优选地，所述数据监听模块，还用于将所述数据源的数据变更记录转化为预设的格式，所述预设的格式为所述消费协程可解析的格式。

可选地或优选地，所述数据同步模块，还用于将自身注册到所述配置管理模块中，由所述配置管理模块监听所述数据同步模块的工作状态。

可选地或优选地，所述消息队列为持久化的消息队列。

根据本发明的第二方面，提供一种数据同步方法，包括：

对数据源进行监听，以获取所述数据源的数据变更记录；

创建与所述数据源对应的消息队列，将所述数据源的数据变更记录加入到与所述数据源对应的消息队列中；

对所述数据源的同步配置参数进行监听，按照所述数据源的同步配置参数创建与所述消息队列对应的消费协程；其中，所述数据源的同步配置参数包括所述数据源的标识、目标存储的位置、以及与所述数据源对应的消息队列的标识；以及，