[发明专利]一种数据同步校验方法、装置、计算设备和存储介质

权利要求书

1.一种数据同步校验方法，包括：

在将源数据从源数据库同步至目标数据库的过程中，生成与源数据对应的源对象以及目标对象，并根据所述源对象构建源哈希映射表，根据所述目标对象构建布谷鸟过滤器集合；其中，所述布谷鸟过滤器集合中存储有所述目标对象的指纹数据；

并发遍历所述源哈希映射表中的源对象，针对所述源哈希映射表中的每个源对象，在所述布谷鸟过滤器集合中查找该源对象的指纹数据，根据查找结果确定数据同步校验结果。

2.根据权利要求1所述的方法，其特征在于，所述在将源数据从源数据库同步至目标数据库的过程中，生成与源数据对应的源对象以及目标对象，并根据所述源对象构建源哈希映射表，根据所述目标对象构建布谷鸟过滤器集合进一步包括：

从源数据库中读取源数据，对所述源数据进行数据转换处理，生成与源数据对应的源对象以及目标对象；

将所述源对象添加至源消息队列，消费所述源消息队列构建源哈希映射表；

将所述目标对象添加至目标消息队列，将所述目标对象写入至目标数据库中，消费所述目标消息队列构建布谷鸟过滤器集合。

3.根据权利要求2所述的方法，其特征在于，所述消费所述源消息队列构建源哈希映射表进一步包括：

消费所述源消息队列中的源对象，对所述源对象进行序列化存储，并设置哈希算法；

采用链表以及红黑树模型，对序列化存储后的源对象进行处理，构建源哈希映射表。

4.根据权利要求2所述的方法，其特征在于，所述消费所述目标消息队列构建布谷鸟过滤器集合进一步包括：

消费所述目标消息队列中的目标对象，将所述目标对象的哈希值中预设比特位数的数据作为所述目标对象的指纹数据，将所述指纹数据写入至布谷鸟过滤器集合中。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述针对所述源哈希映射表中的每个源对象，在所述布谷鸟过滤器集合中查找该源对象的指纹数据进一步包括：

计算该源对象的指纹数据；

利用第一哈希算法对该源对象进行哈希处理，得到第一桶地址；

利用第二哈希算法对该源对象的指纹数据进行哈希处理，得到指纹哈希值；

对所述第一桶地址和所述指纹哈希值进行异或处理，得到第二桶地址；

在所述布谷鸟过滤器集合中，查找第一桶地址对应的桶中或者第二桶地址对应的桶中是否存储有该源对象的指纹数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据查找结果确定数据同步校验结果进一步包括：

若查找到该源对象的指纹数据，则确定该源对象对应的源数据的数据同步校验结果为正常结果，继续遍历所述源哈希映射表中的其他源对象；

若未查找到该源对象的指纹数据，则确定该源对象对应的源数据的数据同步校验结果为异常结果，并将该源对象对应的源数据作为异常数据进行存储。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

按照预设异常处理方案对异常数据进行处理。

8.一种数据同步校验装置，包括：同步模块和校验模块；其中，

所述同步模块，用于在将源数据从源数据库同步至目标数据库的过程中，生成与源数据对应的源对象以及目标对象，并根据所述源对象构建源哈希映射表，根据所述目标对象构建布谷鸟过滤器集合；其中，所述布谷鸟过滤器集合中存储有所述目标对象的指纹数据；

所述校验模块，用于并发遍历所述源哈希映射表中的源对象，针对所述源哈希映射表中的每个源对象，在所述布谷鸟过滤器集合中查找该源对象的指纹数据，根据查找结果确定数据同步校验结果。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据同步校验方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据同步校验方法对应的操作。