[发明专利]一种数据同步校验方法、装置、计算设备和存储介质

说明书

本发明公开了一种数据同步校验方法、装置、计算设备和存储介质。根据本发明提供的技术方案，将源数据从源数据库同步至目标数据库的过程中，生成与源数据对应的源对象以及目标对象，并根据源对象构建源哈希映射表，根据目标对象构建布谷鸟过滤器集合；其中，所述布谷鸟过滤器集合中存储有目标对象的指纹数据；并发遍历所述源哈希映射表中的源对象，针对源哈希映射表中的每个源对象，在布谷鸟过滤器集合中查找该源对象的指纹数据，根据查找结果确定数据同步校验结果。本发明通过在数据同步后，利用指纹数据完成对数据迁移全部数据的校验，可以快速精确地进行数据的迁移和校验，并极大地保障数据一致性。

技术领域

本发明涉及数据处理和数据存储领域，具体涉及一种数据同步校验方法、装置、计算设备和计算机存储介质。

背景技术

随着数字时代的发展，数据作为一项重要资源，在生活中所体现出的作用越来越大，基于数据的各种数据处理技术也不断发展。由此，也对数据的迁移技术提出了更高的要求，以此来满足当前基于数据的各种技术的实施和应用。

而现有技术中，着重于数据迁移过程的自动化以及数据迁移的吞吐量提升，但很少关注到数据迁移的一致性和完整性，使得在数据迁移完成后无法保障数据前后的一致性和完整性，且缺乏高效地保障100％覆盖全量数据校验技术。而往往只是采取人工随机采样原始数据和目标数据，进行数据对比，以此来作为最终校验数据一致性的指标。而这并不能实现数据的全面检验，数据样本覆盖率过低，且校验随机性过高，并且无法开展后续数据一致性补救措施。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据同步校验方法、相应的数据同步校验装置、计算设备以及计算机存储介质。

根据本发明的一个方面，提供了一种数据同步校验方法，所述方法包括：

在将源数据从源数据库同步至目标数据库的过程中，生成与源数据对应的源对象以及目标对象，并根据所述源对象构建源哈希映射表，根据所述目标对象构建布谷鸟过滤器集合；其中，所述布谷鸟过滤器集合中存储有所述目标对象的指纹数据；

并发遍历所述源哈希映射表中的源对象，针对所述源哈希映射表中的每个源对象，在所述布谷鸟过滤器集合中查找该源对象的指纹数据，根据查找结果确定数据同步校验结果。

上述方案中，所述在将源数据从源数据库同步至目标数据库的过程中，生成与源数据对应的源对象以及目标对象，并根据所述源对象构建源哈希映射表，根据所述目标对象构建布谷鸟过滤器集合进一步包括：

从源数据库中读取源数据，对所述源数据进行数据转换处理，生成与源数据对应的源对象以及目标对象；

将所述源对象添加至源消息队列，消费所述源消息队列构建源哈希映射表；

将所述目标对象添加至目标消息队列，将所述目标对象写入至目标数据库中，消费所述目标消息队列构建布谷鸟过滤器集合。

上述方案中，所述消费所述源消息队列构建源哈希映射表进一步包括：

消费所述源消息队列中的源对象，对所述源对象进行序列化存储，并设置哈希算法；

采用链表以及红黑树模型，对序列化存储后的源对象进行处理，构建源哈希映射表。

上述方案中，所述消费所述目标消息队列构建布谷鸟过滤器集合进一步包括：

消费所述目标消息队列中的目标对象，将所述目标对象的哈希值中预设比特位数的数据作为所述目标对象的指纹数据，将所述指纹数据写入至布谷鸟过滤器集合中。

上述方案中，所述针对所述源哈希映射表中的每个源对象，在所述布谷鸟过滤器集合中查找该源对象的指纹数据进一步包括：

计算该源对象的指纹数据；