[发明专利]基于日志解析同步的保障数据一致性的方法和同步系统

权利要求书

1.一种基于日志解析同步的保障数据一致性的方法，其特征在于，所述方法包括：

将提交事务表中的表标识和相应的日志序列号加载至过滤容器中，其中，所述提交事务表以表标识为主键，以日志序列号为附加列；

获取DML操作所属的事务标识和所述DML操作所涉及的表标识，以所述事务标识和所述表标识为组合键，对所述DML操作进行分类管理，以将一个事务分割为至少一个子事务；

获取提交操作的提交事务标识和提交日志序列号；

在经过分类管理的子事务中，获取事务标识与提交事务标识相同的目标子事务，依次提取所述目标子事务的表标识；

基于所述提交日志序列号、所述目标子事务的表标识和所述过滤容器对所述目标子事务进行过滤，以保障数据同步的一致性。

2.根据权利要求1所述的方法，其特征在于，目的端数据同步系统中设置有一条待执行事务链表，所述待执行事务链表用于存放待执行入库的事务；

基于所述提交日志序列号、所述目标子事务的表标识和所述过滤容器对所述目标子事务进行过滤，以保障数据同步的一致性包括：

判断所述目标子事务的表标识是否存在于所述过滤容器中；

若存在于所述过滤容器中，则获取所述目标子事务的表标识相对应的过滤日志序列号；

判断所述提交日志序列号是否大于所述过滤日志序列号；

若大于，则将所述目标子事务添加到所述待执行事务链表中；

若不大于，则丢弃所述目标子事务。

3.根据权利要求2所述的方法，其特征在于，基于所述提交日志序列号、所述目标子事务的表标识和所述过滤容器对所述目标子事务进行过滤，以保障数据同步的一致性包括还包括：

若不存在于所述过滤容器中，则在所述提交事务表中登记所述目标子事务的表标识，并设置相应的日志序列号为0；

将所述目标子事务的表标识和日志序列号0加载到所述过滤容器中。

4.根据权利要求2所述的方法，其特征在于，目的端数据同步系统中设置有一条待合并事务链表，所述待合并事务链表用于存放需要合并的事务；

所述方法还包括：

从所述待执行事务链表中取出一个待合并子事务，将所述待合并子事务添加到待合并事务链表；

根据所述待合并子事务的表标识，在所述待执行链表中取出表标识相同的待合并子事务，以得到多个待合并子事务；

按照所述待合并子事务对应的提交顺序，从先到后将所述待合并子事务添加到所述待合并事务链表中；

合并除了提交操作以外的所有操作；

对所述事务提交表完成更新后，再提交所述待合并事务链表中的事务。

5.根据权利要求4所述的方法，其特征在于，所述对所述事务提交表完成更新后，再提交所述待合并事务链表中的事务包括：

获取所述待合并事务链表中最后一个待合并子事务的提交日志序列号；

以所述待合并子事务的表标识为主键，将所述提交事务表中的相应附加列的日志序列号更新为最后一个待合并子事务的提交日志序列号；

执行提交操作。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在进行故障恢复时，通过更新后的事务提交表加载所述过滤容器，以更新所述过滤日志序列号。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述待合并子事务添加到所述待合并事务链表后，将所述待合并子事务从所述待执行事务链表中删除。

8.根据权利要求1所述的方法，其特征在于，所述将提交事务表中的表标识和相应的日志序列号加载至过滤容器中之前包括：

目的端数据同步系统判断在目的端数据库中是否存在提交事务表；

若存在提交事务表，则执行将提交事务表中的表标识和相应的日志序列号加载至过滤容器中的步骤；

若不存在，则以表标识为主键，以日志序列号为附加列创建提交事务表。