[发明专利]基于CDC的集群间数据同步方法及系统

说明书

本发明公开了基于CDC的集群间数据同步方法及系统，属于数据库技术领域，本发明要解决的技术问题为如何实现数据库之间的高可用，减少数据库集群内部组件出现问题时带来的损失，技术方案为：该方法是在ZNBase主集群中使用CDC功能，将每个表中的数据流出到一个接收器中，接收器采用CDC‑SINK；CDC‑SINK经过处理后将数据在备集群上进行回放，即可完成ZNBase主集群到备集群的数据流动；具体如下：ZNBase主集群到备集群之间的数据同步：从ZNBase主集群中流出来的数据经过CDC‑SINK的解析和处理后，将临时的数据写入到备集群中一个指定数据库中；将备集群的对应数据写入到备集群需要与主集群完成数据同步的表中；删除掉备集群指定数据库中的临时数据；ZNBase主集群事务与备集群事务之间的一致性。

技术领域

本发明涉及数据库技术领域，尤其涉及浪潮云溪数据库ZNBase，具体地说是一种基于CDC的集群间数据同步方法及系统。

背景技术

随着当前社会的发展，数据库领域出现了许多种类，大体上可以分为关系型数据库、非关系型数据库及NEWSQL数据库，ZNBase数据库即为NEWSQL数据库中的一种。ZNBase数据库身为分布式数据库，使用Raft协议(Raft协议是一种分布式一致性协议，用来保证多副本的一致性)来实现高可用，容忍半数以上节点故障。但是如果数据库集群内部组件出现问题，这个数据库集群也就不可用了。故如何实现数据库之间的高可用，减少数据库集群内部组件出现问题时带来的损失是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于CDC的集群间数据同步方法及系统，来解决如何实现数据库之间的高可用，减少数据库集群内部组件出现问题时带来的损失的问题。

本发明的技术任务是按以下方式实现的，一种基于CDC的集群间数据同步方法，该方法是在ZNBase主集群中使用CDC功能，将每个表中的数据流出到一个接收器中，接收器采用CDC-SINK；CDC-SINK经过处理后将数据在备集群上进行回放，即可完成ZNBase主集群到备集群的数据流动；具体如下：

ZNBase主集群到备集群之间的数据同步：从ZNBase主集群中流出来的数据经过CDC-SINK的解析和处理后，将临时的数据写入到备集群中一个指定数据库中；再将备集群的对应数据写入到备集群需要与主集群完成数据同步的表中；最后删除掉备集群指定数据库中的临时数据；

ZNBase主集群事务与备集群事务之间的一致性：ZNBase主集群上流出的数据经过CDC-SINK处理后，发送到备集群上，备集群上根据ZNBase主集群上流出的数据中的时间戳来判断该数据对应的事务是否完整，并根据对应事务的完整性决定应用还是回滚。

其中，Change Data Capture(CDC)将高效、分布式的行级更改馈送到可配置的接收器中，用于下游处理，如报告、缓存或全文索引。

CDC-SINK是一个工具，将一个ZNBase集群中的数据通过CDC功能流出，然后写入到另一个ZNBase集群中，从而实现两个集群中的数据同步。

作为优选，ZNBase主集群事务与备集群事务之间的一致性具体如下：

将有关联的表按照主键表外键表的顺序配置到一个CDC-SINK进程的config中，该CDC-SINK进程便能接收配置的所有表的数据；并设置CDC-SINK的流入顺序为外键表-主键表；

将CDC-SINK的config配置的所有表都放到一个池中，当且仅当所有表都收到resolved time时，发送最小resolved time之前的所有表的更新数据，而且是按照config配置的表的顺序发送，保证在这个时间之前没有新的更新了，确保事务的一致性。

其中，resolved time保证在该分区上不会发出(以前未看到的)更新时间戳较低的行，也就是说再该时间戳之前的更新都已经提交。