[发明专利]数据校验方法、装置、服务器及计算机可读存储介质

说明书

本发明提供了一种数据校验方法、装置、服务器及计算机可读存储介质，包括：获取预先配置的源数据库信息和目的数据库信息；其中，源数据库用于存储源数据，目的数据库用于存储目的数据，目的数据是针对源数据执行分库分表操作得到的；基于源数据库信息、目的数据库信息和源数据库的数据库日志，分别从源数据库中拉取待校验的源子数据，以及从目的数据库中拉取待校验的目的子数据；利用预先配置的至少一个目标校验线程对源子数据和目的子数据执行数据校验处理，直至数据校验处理成功得到数据校验结果。本发明可以显著丰富数据校验方法的应用场景，还可以无损地对数据进行校验，还可以有效降低数据校验所需的工具量以及显著提高数据校验效率。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据校验方法、装置、服务器及计算机可读存储介质。

背景技术

MySQL广泛应用于各大互联网、电商、游戏、金融等行业，由于随着单实例并发量或者容量越来越大，需要对数据库进行拆分或者分库分表操作。目前，相关技术提出了较多的数据迁移工具，而数据比对校验工具相对匮乏。现有的数据比对校验工具的校验条件较为严格，需要待校验的数据具备主从关系，在一定程度上限制了数据比对校验工具的应用场景；而且如果数据比对校验失败，将需要人为手动进行二次比对校验，不仅导致数据比对校验的工作量较大，而且将致使数据比对校验的效率较低；此外，现有数据比对校验工具在比对校验过程中会针对业务数据表执行添加S锁操作，该操作存在对业务数据表的有损操作，因此现有数据比对校验工具有待优化。

发明内容

有鉴于此，本发明的目的在于提供一种数据校验方法、装置、服务器及计算机可读存储介质，可以显著丰富数据校验方法的应用场景，还可以无损地对数据进行校验，还可以有效降低数据校验所需的工具量以及显著提高数据校验效率。

第一方面，本发明实施例提供了一种数据校验方法，包括：获取预先配置的源数据库信息和目的数据库信息；其中，源数据库用于存储源数据，目的数据库用于存储目的数据，所述目的数据是针对所述源数据执行分库分表操作得到的；基于所述源数据库信息、所述目的数据库信息和所述源数据库的数据库日志，分别从所述源数据库中拉取待校验的源子数据，以及从所述目的数据库中拉取待校验的目的子数据；利用预先配置的至少一个目标校验线程对所述源子数据和所述目的子数据执行数据校验处理，直至所述数据校验处理成功得到数据校验结果。

进一步的，所述基于所述源数据库信息、所述目的数据库信息和所述源数据库的数据库日志，分别从所述源数据库中拉取待校验的源子数据，以及从所述目的数据库中拉取待校验的目的子数据的步骤，包括：根据所述源数据库的数据库日志确定当前校验批次的数据校验范围；基于所述当前校验批次的数据校验范围，从所述源数据中确定待校验的源子数据，以及从所述目的数据中确定待校验的目的子数据；根据所述源数据库信息从所述源数据库中拉取所述源子数据，以及从所述目的数据库中拉取所述目的子数据。

进一步的，所述根据所述源数据库的数据库日志确定当前校验批次的数据校验范围的步骤，包括：确定所述源数据库的数据库日志中当前日志位点处对应的最大主键；其中，所述当前日志位点是基于前一校验批次的数据校验范围确定的；基于预设比对行数和所述最大主键，确定当前校验批次的数据校验范围。

进一步的，所述利用预先配置的至少一个目标校验线程对所述源子数据和所述目的子数据进行数据校验处理，直至所述数据校验处理成功得到数据校验结果的步骤，包括：在所述源数据库与目的数据库之间的数据延迟小于预设延迟阈值的情况下，利用预先配置的至少一个目标校验线程对所述源子数据和所述目的子数据进行数据校验处理，直至所述数据校验处理成功得到数据校验结果。