[发明专利]一种基于数据迁移的异常供数检测方法、装置及终端设备

说明书

本发明涉及云存储技术领域，揭示了一种基于数据迁移的异常供数检测方法、装置及终端设备。所述方法包括：通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表；以及当存在变更表时，将变更表对应的目标表作为待同步目标表，将待同步目标表关联的供数进程作为异常供数进程，并对异常供数进程执行挂起操作，以及向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息。实施该方法可以达到保证供数准确性的目的。

技术领域

本发明涉及云存储技术领域，特别涉及一种基于数据迁移的异常供数检测方法、装置及终端设备。

背景技术

目前，将公司的业务数据交付于第三方平台的流程大体包括：数据管理系统接收第三方平台的数据需求，并根据数据需求对公司的业务数据进行抽取，以及将所抽取的业务数据提供给第三方平台。在实践中发现，当某些源表变更(如增加和/或删除表字段)时，若未及时通知到相关总业务数据员，往往会使得数据抽取依然按照之前的源表结构，从而直接影响第三方平台获得的业务数据的准确性。

发明内容

为了解决现有数据管理系统中供数不准确的技术问题，本发明提供了一种基于数据迁移的异常供数检测方法、装置及终端设备。

一种基于数据迁移的异常供数检测方法，所述方法包括：

通过扫描源表和每一所述源表对应的hive表，判断所述源表中是否存在变更表；其中，所述变更表的表结构和所述变更表对应的所述hive表所指示的表结构不一致；

当存在所述变更表时，将所述变更表对应的目标表作为待同步目标表；

将所述待同步目标表关联的供数进程作为异常供数进程；

对所述异常供数进程执行挂起操作；

向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息。

一种异常供数检测装置，包括：

扫描单元，用于通过扫描源表和每一所述源表对应的hive表，判断所述源表中是否存在变更表；其中，所述变更表的表结构和所述变更表对应的所述hive表所指示的表结构不一致；

确定单元，用于当存在所述变更表时，将所述变更表对应的目标表作为待同步目标表；以及将所述待同步目标表关联的供数进程作为异常供数进程；

控制单元，用于对所述异常供数进程执行挂起操作；

发送单元，用于向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息。

一种终端设备，所述终端设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明所提供的基于数据迁移的异常供数检测方法包括如下步骤，通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表，以及当存在变更表时，将变更表对应的目标表作为待同步目标表，以及将待同步目标表关联的供数进程作为异常供数进程，以及对异常供数进程执行挂起操作，以及向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息。

此方法下，通过扫描源表和每一源表对应的hive表对源表的变更进行监控，以及在源表发生变更的情况下，及时暂停有关供数进程，可以保证供数进程中数据的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明