[发明专利]一种数据核对方法、系统、设备及存储介质

说明书

本申请公开了一种数据核对方法、系统、设备及存储介质，所述方法包括任务中转服务器响应于各数据核对服务器发送的核对任务获取请求，确定每个数据核对服务器对应的待处理核对任务，待处理核对任务包括核对范围信息和数据分块参数，数据分块参数为任务控制服务器基于数据库延迟信息确定的；每个数据核对服务器基于对应的待处理核对任务中的核对范围信息，确定目标待核对数据；基于数据分块参数进行数据分块，并创建与多个待核对数据块的数量对应的多个数据核对线程，分别对多个待核对数据块执行数据核对。利用本申请提供的技术方案能够结合任务中转服务器和多个数据核对服务器，大大提升数据核对的效率和灵活性，且能够实现灵活可靠的并发控制。

技术领域

本申请涉及计算机技术领域，具体涉及一种数据核对方法、系统、设备及存储介质。

背景技术

随着业务数据量不断增长，通常线上业务数据会先记录在用于进行实时业务数据管理的数据库中(例如MySQL数据库中)，但由于服务器容量限制，会在一段时间后对历史数据进行清理以释放可用空间，因此在将线上业务数据记录在用于进行实时业务数据管理的数据库之后，可以通过数据同步操作将其同步至其他类型的数据库(例如Elasticsearch数据库、HBase数据库)中，以供后续实现业务数据查询和重复利用等。但在数据同步的过程中，可能出现漏传、错传等问题，因此有必要对传输前后的数据进行核对以保证数据的可靠性。

相关技术在进行数据库间的数据核对时，一般利用单一固定的服务器来配置数据核对的需求，并从数据库拉取数据进行数据核对，数据核对效率较低，进而存在影响业务正常使用的情况，且若负责核对的服务器发生故障，需要人工恢复，影响核对效率和可靠性。因此，需要提供更加可靠高效的方案。

发明内容

为了解决现有技术的问题，本申请提供了一种数据核对方法、系统、设备及存储介质。所述技术方案如下：

本申请一方面提供了一种数据核对方法，所述方法包括：

多个数据核对服务器分别向任务中转服务器发送核对任务获取请求；

所述任务中转服务器响应于每个数据核对服务器发送的核对任务获取请求，从多个数据核对任务中，确定所述每个数据核对服务器对应的待处理核对任务，所述待处理核对任务包括核对范围信息，以及数据分块参数，所述数据分块参数为任务控制服务器生成数据核对任务时，基于数据库延迟信息确定的；

所述任务中转服务器将所述待处理核对任务发送到对应的数据核对服务器；

所述每个数据核对服务器基于对应的待处理核对任务中的核对范围信息，确定目标待核对数据；

所述每个数据核对服务器基于对应的待处理核对任务的数据分块参数，对所述目标待核对数据进行数据分块，得到多个待核对数据块；

所述每个数据核对服务器创建与所述多个待核对数据块的数量对应的多个数据核对线程；

所述每个数据核对服务器基于所述多个数据核对线程，分别对所述多个待核对数据块执行数据核对。

本申请另一方面提供了一种数据核对系统，所述系统包括任务中转服务器和多个数据核对服务器；

所述多个数据核对服务器用于分别向所述任务中转服务器发送核对任务获取请求；以及基于对应的待处理核对任务中的核对范围信息，确定目标待核对数据；以及基于对应的待处理核对任务的数据分块参数，对所述目标待核对数据进行数据分块，得到多个待核对数据块；以及创建与所述多个待核对数据块的数量对应的多个数据核对线程；以及基于所述多个数据核对线程，分别对多个待核对数据块执行数据核对；