[发明专利]同步数据处理方法和装置

权利要求书

1.一种同步数据处理方法，其特征在于，包括：

获取源数据和目标数据，其中，目标数据是源数据的同步数据；

对源数据和目标数据进行比较，获得差异数据，包括：获取源数据和目标数据中同一数据表的数据的校验值，其中，所述校验值包括源数据库和目标数据库中同一数据表中的预设字段的统计结果；比较源数据的所述校验值和目标数据的所述校验值；如果源数据的所述校验值和目标数据的所述校验值不同，比较所述源数据和目标数据中同一数据表的数据，获得差异数据，所述差异数据包括待添加数据和/或待删除数据；其中，所述比较所述源数据和目标数据中同一数据表的数据，获得差异数据包括：

对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据，包括：分别从源数据和目标数据中装载若干批次的数据到源比较区和目标比较区中；和，按照数据的唯一索引的排序顺序，依次比较源比较区和目标比较区中的数据，删除源比较区和目标比较区中完全相同的数据；以及

将源比较区和目标比较区中未被删除并且完成比较的数据分别导出到差异数据中，包括：如果源游标小于目标游标并且目标比较区中的数据均已经完成比较，将源比较区中的数据导出到待添加数据，并从源数据中装载若干批次的数据到源比较区中并继续进行比较；如果源游标大于目标游标并且源比较区中的数据均已经完成比较，将目标比较区中的数据导出到待删除数据，并从目标数据中装载若干批次的数据到目标比较区中并继续进行比较；

其中，源游标为源比较区中待比较的数据的唯一索引，目标游标为目标比较区中待比较的数据的唯一索引；以及

根据差异数据对目标数据进行修复。

2.根据权利要求1所述的方法，其特征在于，

所述获取源数据和目标数据中同一数据表的数据的校验值包括：

获取源数据库和目标数据库中同一数据表的时间戳在同一时间段内的数据的校验值；

所述如果源数据的所述校验值和目标数据的所述校验值不同，比较所述源数据和目标数据中同一数据表的数据，获得差异数据包括：

如果源数据的所述校验值和目标数据中同一数据表的时间戳在同一时间段内的数据的校验值不同，比较所述源数据和目标数据中同一数据表的时间戳在同一时间段内的数据，获得差异数据。

3.根据权利要求1所述的方法，其特征在于，所述获取源数据和目标数据中同一数据表中的数据的校验值包括：

将源数据库和目标数据库中同一数据表中同一行数据的哈希值作为校验值。

4.根据权利要求1所述的方法，其特征在于，还包括：

当源数据中所有的数据均已完成比较，将目标数据中未完成比较的数据导出到差异数据中，和/或，

当目标数据中所有的数据均已完成比较，将源数据中未完成比较的数据导出到差异数据中。

5.根据权利要求1所述的方法，其特征在于，所述对源数据和目标数据进行比较，删除源数据和目标数据中完全相同的数据包括：

搜索源数据和目标数据中具有相同唯一索引的数据；

如果源数据和目标数据中所述具有相同唯一索引的数据具有相同的时间戳，删除所述源数据和目标数据中所述具有相同唯一索引的数据。

6.根据权利要求5所述的方法，其特征在于，还包括：

如果源数据和目标数据中所述具有相同唯一索引的数据具有不同的时间戳，将源数据中所述具有相同唯一索引的数据导出到待更新数据中。

7.根据权利要求1所述的方法，其特征在于，所述差异数据包括待添加数据、待删除数据和待更新数据中的至少一种；

所述根据差异数据对目标数据进行修复至少包括以下一种：

将待添加数据添加到目标数据中；

将待删除数据从目标数据中删除；

将目标数据中与待更新数据具有相同唯一索引的数据进行更新，使目标数据中更新后的数据与所述待更新数据相同。