[发明专利]一种数据抽取方法、系统及终端设备

说明书

本发明适用于计算机技术领域，提供了一种数据抽取方法、系统及终端设备，包括：比对抽数数据库的当前版本的数据源表结构与抽数数据库的上一版本的数据源表结构，判断抽数数据库的数据源表结构是否发生变化；若抽数数据库的数据源表结构发生变化，则根据变化内容生成修改目标表结构的脚本文件；根据修改目标表结构的脚本文件修改目标表结构，并根据修改后的目标表结构生成抽数脚本文件；根据抽数脚本文件对抽数数据库进行数据抽取。能够根据最新的目标表的表结构生成最新的抽数脚本文件进行数据抽数，无需人工对抽数脚本文件进行修改，自动根据数据源表结构的变化进行数据抽取，减少了人工干预，提高数据抽取的效率和准确率。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据抽取方法、系统及终端设备。

背景技术

数据库系统被广泛应用在通讯和金融等数据密集型领域中，对于数据密集型领域，数据的访问、存储和升级显得尤为重要。因此，经常需要从多个数据库系统中抽取数据来进行数据分析，数据抽取是从数据库中抽取数据的过程，实际应用中，数据库较多采用的是关系数据库。

在关系数据库中，数据库表是一系列二维数组的集合，用来代表和存储数据对象之间的关系。在数据库表发生变化时，需要一次性批量生成sqoop导数脚本，以此来获取修改后的数据库表结构，在获取了数据库表结构的修改信息后，需要人工根据修改信息对抽取数据的脚本文件进行修改。此外，当需要抽取数据的数据表较多时，修改抽取数据的脚本文件需要花费大量的人工和时间，而且容易出错，且在新增抽取数据表或者修改了部分数据表的部分字段时，也需要花费大量的人工和时间去编写新增数据库表结构的脚本文件和修改数据库表结构的脚本文件。

综上所述，目前的数据抽取工作存在时间成本高、人工成本高以及工作效率低的问题。

发明内容

有鉴于此，本发明实施例提供了一种数据抽取方法、系统及终端设备，以解决目前的数据抽取工作存在时间成本高、人工成本高以及工作效率低的问题。

本发明的第一方面提供了一种数据抽取方法，包括：

比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化；

若所述抽数数据库的数据源表结构发生变化，则根据变化内容生成修改目标表结构的脚本文件；

根据所述修改目标表结构的脚本文件修改目标表结构，并根据修改后的目标表结构生成抽数脚本文件；

根据所述抽数脚本文件对所述抽数数据库进行数据抽取。

本发明的第二方面提供了一种数据抽取系统，包括：

判断模块，用于比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化；

生成模块，用于若所述抽数数据库的数据源表结构发生变化，则根据变化内容生成修改目标表结构的脚本文件；

修改模块，用于根据所述修改目标表结构的脚本文件修改目标表结构，并根据修改后的目标表结构生成抽数脚本文件；

抽取模块，用于根据所述抽数脚本文件对所述抽数数据库进行数据抽取。

本发明的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化；

若所述抽数数据库的数据源表结构发生变化，则根据变化内容生成修改目标表结构的脚本文件；