[发明专利]一种数据同步系统及方法

说明书

本发明公开了一种数据同步系统及方法，包括：在目标端接收源端发送的指令文件后，读取指令文件中对象的信息后放入相应的待处理队列；在放入相应的待处理队列时，若对象不在待处理队列中，则在队列配置文件中新增一行，若对象已在待处理队列中，则将队列配置文件中的该对象的锁数量L值加1；预估各待处理队列的处理时长；根据处理时长进行加载待处理队列，并在加载后将L值减1，以及删除L值为0的行。采用本发明，能够减少数据库同步时的时延。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据同步系统及方法。

背景技术

为保障数据库的安全，通常建设容灾应急库，用以在生产库发生数据丢失、性能瓶颈时起到容灾、应急作用。采用数据库同步软件可以在同步数据后产生一个可定制的应急库，而数据库同步的时延是关注的重点。

图1为数据库同步软件架构示意图，如图所示，现有数据库软件通过对ORACLE日志进行分析获取跟踪源端数据库的交易指令，再根据不同业务的需求进行过滤和转化，产生与应用相吻合的指令发送到目标端数据库。

现有技术的不足在于：现有的数据同步机制会导致时延。

发明内容

本发明提供了一种数据同步系统及方法，用以减少数据库系统在数据同步过程中产生的时延。

本发明实施例中提供了一种数据同步系统，包括：

接收模块，用于在目标端接收源端发送的指令文件后，读取指令文件中对象的信息后放入相应的待处理队列；在放入相应的待处理队列时，若对象不在待处理队列中，则在队列配置文件中新增一行，若对象已在待处理队列中，则将队列配置文件中的该对象的锁数量L值加1；

队列选择模块，用于预估各待处理队列的处理时长；

加载模块，用于根据处理时长进行加载待处理队列，并在加载后将L值减1，以及删除L值为0的行。

较佳地，接收模块进一步用于通过调用队列选择模块获取新增的指令文件的队列编号。

较佳地，队列选择模块进一步用于根据从队列配置信息中获取的以下信息之一或者其组合预估各待处理队列的处理时长：

Insert的操作个数、Update的操作个数、Delete的操作个数、DDL的操作个数、Insert的操作时长、Update的操作时长、Delete的操作时长、DDL的操作时长。

较佳地，进一步包括：

监控模块，用于通过指令加载信息获取处理时长信息，根据该处理时长信息更新预估的各待处理队列的处理时长。

较佳地，进一步包括：读、排序模块以及若干分析模块，其中：

读、排序模块，用于在源端读取日志以及排序后，发送至归属于各通道的分析模块；

分析模块，用于将发送至本通道的日志分析后形成指令文件传输。

本发明实施例中还提供了一种数据同步方法，包括：

在目标端接收源端发送的指令文件后，读取指令文件中对象的信息后放入相应的待处理队列；

在放入相应的待处理队列时，若对象不在待处理队列中，则在队列配置文件中新增一行，若对象已在待处理队列中，则将队列配置文件中的该对象的锁数量L值加1；

预估各待处理队列的处理时长；

根据处理时长进行加载待处理队列，并在加载后将L值减1，以及删除L值为0的行。

较佳地，所述队列编号是新增的指令文件的队列编号是通过调用队列选择模块获取的。