[发明专利]一种对数据更新操作进行排序重组的方法及相应的装置

说明书

本发明公开了一种对数据更新操作进行排序重组的方法及相应的装置，该方法包括：获取源表和参照表，根据源表和参照表得到增量表；对增量表中的多组数据更新操作进行预排序，得到原始操作序列；解析原始操作序列中各数据更新操作之间的冲突情况，根据各数据更新操作之间的冲突情况，选择性对原始操作序列中的部分数据更新操作进行重排序和/或建立伪操作，得到目的操作序列。本发明的方法通过对更新操作进行排序，或将原有数据替换为不可能出现值，待冲突数据完成更新后，再将不可能出现值更新为目标值，完成对更新操作的重组，实现了对违反唯一性约束的一组更新操作进行处理，保证能够根据排序重组后的更新操作序列进行数据增量同步。

技术领域

本发明属于数据同步领域，更具体地，涉及一种对数据更新操作进行排序重组的方法及相应的装置。

背景技术

增量数据的同步，是在源表上进行增删改操作时，可以通过增量数据抽取，同步到目的表中。在第一次将源表数据全量抽取到目的表中后，可以通过重复地执行增量数据抽取，将源表上的增删改操作产生的变化数据，无遗漏地同步到目的表中，从而实现源表和目的表的长期同步，避免每次都同步全量数据。当全量数据巨大，而每次变化数据较少时，可以大幅提升数据同步的效率。

当前主流的增量数据抽取方式，按照增量数据的内部产生方式分为两类：过程记录产生方式，包括触发器增量和日志解析增量；比较产生方式，包括影子表增量、MD5增量和时间戳增量。过程记录产生增量的方式，是通过在增量表中记录所有发生在源表上的数据增删改操作过程，执行增量数据同步时，将这些数据操作过程在目的表上重复进行一遍，即可将源表中产生的变化同步到目的表中。比较产生增量的方式，通过建立一张“参照表”(例如，影子表、MD5表或时间戳表)，“参照表”包含源表中的唯一列；执行增量数据同步时，基于唯一列进行定位，若某一行数据在源表中，而不在“参照表”中，则该行数据为一行新插入的数据；反之，若某一行数据不在源表中，而在“参照表”中，则该行数据为一行已删除的数据；若某一行数据既在源表中，也在“参照表”中，但其他列的数据不一致，则该行数据为一行修改过的数据。

以过程记录产生增量的方式进行增量同步操作时，只要能在源表中顺利完成的操作过程，都可以在目的表中顺利完成；而以比较产生类型的增量方式进行增量同步操作时，由于通过比较源表和“参照表”的差异产生的增量数据只能反映操作的结果，而无法反映操作的过程，这就导致在涉及数据修改操作时，如果目的表中存在唯一索引列，能在源表中顺利完成的操作序列，在目的表中不一定能顺利完成。

如图1和图2所示，其中，“参照表”中的数据为修改前的旧值，源表中的数据为修改后的新值，D代表删除操作；UN、UO代表修改操作，UN代表修改后的值(新值)，UO代表修改前的值(旧值)，I代表插入操作。在执行增量数据同步操作时，对目的表进行如下操作，即可使目的表与源表保持同步：(1)删除ID＝5这行数据；(2)在ID＝7这行数据上进行修改操作：[7,'小军',1876666007,'中山路7号','男']----[7,'小军',1876666117,'中山路7号','男']；(3)插入数据[11,'老刘',1876666011,'中山路11号','男']。在进行增量数据同步时，能在源表中顺利完成的操作序列，在目的表中也能顺利完成。

如图3和图4所示，当目的表的PHONE(电话号码)列不存在唯一约束索引时，按照A--B--C--D--E--F--G--H--K的顺序执行更新操作可完成增量同步；当目的表的PHONE列存在唯一约束索引时，上述操作序列无法顺利执行：(1)A与H存在单向冲突，当H先执行，A后执行时，可解除冲突；(2)B与G存在循环冲突，无法通过调整二者执行顺序解除冲突；(3)C、D、E存在循环冲突，无法通过调整三者执行顺序解除冲突。在进行增量数据同步时，能在源表中顺利完成的操作序列，在目的表中不能顺利完成。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

发明内容