[发明专利]数据同步检测方法和装置

说明书

本申请公开了一种数据同步检测方法和装置，属于计算机技术领域。所述方法包括执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。

技术领域

本申请属于计算机技术领域，具体涉及一种数据同步检测方法和装置。

背景技术

随着大数据技术的广泛应用，离线同步数据越来越普遍，尤其是从数据库离线抽取数据到数据仓库存储。同步数据需要进行检测是否成功，以及需要检测数据库表结构发生了变更，避免影响数据同步。

现有的检测方式是根据同步数据任务返回码是否为0判断数据是否同步成功，在数据库表结构发生变化时，根据数据库表结构人工调整离线数据仓库表结构。

根据同步数据任务返回码判断数据是否抽取成功，存在不够准确的缺陷，并且当数据库表结构发生变更，很多时候无法及时通知到数据仓库管理人员，导致数据同步失败，需要数据库管理人员及时通知，数据仓库管理员也需要手动调整离线数据仓库表结构，维护成本比较高。

发明内容

本申请实施例的目的是提供一种数据同步检测方法和装置，能够解决数据同步检测的精准度低和数据同步过程中人工维护成本高的问题。

第一方面，本申请实施例提供了一种数据同步检测方法，该方法包括：

执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；

调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；

根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。

第二方面，本申请实施例提供了一种数据同步检测装置，该装置包括：

定时抽取模块，用于执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；

数据查询模块，用于调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；

同步检测模块，用于根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，通过执行离线数据抽取定时任务将数据同步至离线数据仓库表，再通过数据库查询API的返回值进行数据同步检测，提高了数据抽取检测的精准度，减少了数据同步过程中的人工维护成本。

附图说明

图1是本申请提供的数据同步检测方法的流程示意图；

图2是本申请提供的更新离线数据仓库表的表结构的流程示意图；

图3是本申请提供的创建所述离线数据仓库表的流程示意图；

图4为本申请提供的数据同步检测装置的结构示意图；