[发明专利]数据同步的系统、方法、装置和计算机存储介质

权利要求书

1.一种数据同步系统，其特征在于，所述系统包括数据监听模块、消息分发模块、数据同步模块、以及配置管理模块；

所述数据监听模块，用于对数据源进行监听，以获取所述数据源的数据变更记录；

所述消息分发模块，用于创建与所述数据源对应的消息队列，从所述数据监听模块获取所述数据源的数据变更记录并将所述数据源的数据变更记录加入到与所述数据源对应的消息队列中；

所述配置管理模块，用于管理所述数据源的同步配置参数，所述数据源的同步配置参数包括所述数据源的标识、目标存储的位置、以及与所述数据源对应的消息队列的标识；

所述数据同步模块，用于监听所述配置管理模块以获取所述数据源的同步配置参数，按照所述数据源的同步配置参数创建与所述消息队列对应的消费协程，其中，所述消费协程是一种充当消费者角色的协程；以及，由所述消费协程监听对应的所述消息队列，以消费对应的所述消息队列中写入的数据变更记录，按照所述数据源的同步配置参数将所述消息队列中写入的数据变更记录更新到对应的目标存储中，

其中，所述数据源的同步配置参数还包括与所述数据源对应的消息队列的并发速度；所述数据同步模块，还用于按照所述并发速度确定需要创建的与所述消息队列对应的消费协程的数量。

2.根据权利要求1所述的系统，其中，所述消息分发模块采用Kafka分布式发布订阅消息系统。

3.根据权利要求1所述的系统，其中，所述配置管理模块采用Zookeeper分布式应用程序协调服务系统。

4.根据权利要求1所述的系统，其中，所述数据监听模块，还用于将所述数据源的数据变更记录转化为预设的格式，所述预设的格式为所述消费协程可解析的格式。

5.根据权利要求1所述的系统，其中，所述数据同步模块，还用于将自身注册到所述配置管理模块中，由所述配置管理模块监听所述数据同步模块的工作状态。

6.根据权利要求1所述的系统，其中，所述消息队列为持久化的消息队列。

7.一种数据同步方法，包括：

对数据源进行监听，以获取所述数据源的数据变更记录；

创建与所述数据源对应的消息队列，将所述数据源的数据变更记录加入到与所述数据源对应的消息队列中；

对所述数据源的同步配置参数进行监听，按照所述数据源的同步配置参数创建与所述消息队列对应的消费协程，其中，所述消费协程是一种充当消费者角色的协程；其中，所述数据源的同步配置参数包括所述数据源的标识、目标存储的位置、以及与所述数据源对应的消息队列的标识；以及，

由所述消费协程监听对应的所述消息队列，以消费对应的所述消息队列中写入的数据变更记录，按照所述数据源的同步配置参数将所述消息队列中写入的数据变更记录更新到对应的目标存储中，

其中，所述数据源的同步配置参数还包括与所述数据源对应的消息队列的并发速度；所述按照所述数据源的同步配置参数创建与所述消息队列对应的消费协程，还包括按照所述并发速度确定需要创建的与所述消息队列对应的消费协程的数量。

8.一种计算机存储介质，存储有可执行计算机指令，所述可执行计算机指令被处理器执行时，实现权利要求7所述的方法。

9.一种数据同步装置，包括处理器和存储器；所述存储器存储有可执行计算机指令，所述可执行计算机指令被所述处理器执行时，实现权利要求7所述的方法。