[发明专利]基于CDC的集群间数据同步方法及系统

权利要求书

1.一种基于CDC的集群间数据同步方法，其特征在于，该方法是在ZNBase主集群中使用CDC功能，将每个表中的数据流出到一个接收器中，接收器采用CDC-SINK；CDC-SINK经过处理后将数据在备集群上进行回放，即可完成ZNBase主集群到备集群的数据流动；具体如下：

ZNBase主集群到备集群之间的数据同步：从ZNBase主集群中流出来的数据经过CDC-SINK的解析和处理后，将临时的数据写入到备集群中一个指定数据库中；再将备集群的对应数据写入到备集群需要与主集群完成数据同步的表中；最后删除掉备集群指定数据库中的临时数据；

ZNBase主集群事务与备集群事务之间的一致性：ZNBase主集群上流出的数据经过CDC-SINK处理后，发送到备集群上，备集群上根据ZNBase主集群上流出的数据中的时间戳来判断该数据对应的事务是否完整，并根据对应事务的完整性决定应用还是回滚。

2.根据权利要求1所述的基于CDC的集群间数据同步方法，其特征在于，ZNBase主集群事务与备集群事务之间的一致性具体如下：

将有关联的表按照主键表外键表的顺序配置到一个CDC-SINK进程的config中，该CDC-SINK进程便能接收配置的所有表的数据；并设置CDC-SINK的流入顺序为外键表-主键表；

将CDC-SINK的config配置的所有表都放到一个池中，当且仅当所有表都收到resolvedtime时，发送最小resolved time之前的所有表的更新数据，而且是按照config配置的表的顺序发送。

3.根据权利要求1或2所述的基于CDC的集群间数据同步方法，其特征在于，所述主集群和备集群的具体要求如下：

①、ZNBase主集群和备集群中的表均需要有主键和单列族；

②、备集群中的外键表均需要配置级联删除和级联更新；

③、ZNBase主集群和备集群中表的字段不能带有collate字段；

④、ZNBase主集群和备集群同步时每次都是全量同步。

4.根据权利要求3所述的基于CDC的集群间数据同步方法，其特征在于，所述CDC-SINK作为接收ZNBase主集群到备集群流出数据，并写入到备集群的工具；具体如下：

接收数据：CDC-SINK基于http协议，基于ZNBase主集群的CDC功能，完成数据的接收；

解码数据：接收到的数据经过CDC-SINK中解码；

写入数据：写入到备集群的一个指定数据库中；

解析数据：从备集群数据库中取出数据，解析成特定的sql语句；

处理数据：通过数据库内部的驱动执行到相应的备集群表中，从而完成数据的处理。

5.根据权利要求4所述的基于CDC的集群间数据同步方法，其特征在于，CDC-SINK逻辑处理具体如下：

监听信号；

获取CDC-SINK中配置的命令行参数；

解析配置的命令行参数；

根据配置的命令行参数连接目标数据库；

创建相应的SINKDB数据库；

创建SINK；

创建处理器；

创建CDC-SINK服务；

启动CDC-SINK的服务。