[发明专利]一种数据抽取方法、系统及终端设备

权利要求书

1.一种数据抽取方法，其特征在于，包括：

比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化；

若所述抽数数据库的数据源表结构发生变化，则根据变化内容生成修改目标表结构的脚本文件；

根据所述修改目标表结构的脚本文件修改目标表结构，并根据修改后的目标表结构生成抽数脚本文件；

根据所述抽数脚本文件对所述抽数数据库进行数据抽取。

2.根据权利要求1所述的方法，其特征在于，所述比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化，包括：

通过结构化查询语言查询抽数数据库的元数据，根据所述元数据获取当前版本的数据源表结构；

获取所述抽数数据库保存在XML文件中的上一版本的数据源表结构；

判断所述当前版本的数据源表结构与所述上一版本的数据源表结构是否存在变化字段，所述变化字段包括增加字段、删减字段以及修改字段；

若所述当前版本的数据源表结构与所述上一版本的数据源表结构存在变化字段，则所述抽数数据库的数据源表结构发生变化。

3.根据权利要求1所述的方法，其特征在于，所述根据所述抽数脚本文件对所述抽数数据库进行数据抽取，包括：

建立抽数任务，所述抽数任务包括抽数任务的执行方式，所述执行方式包括全量抽取和增量抽取；

若所述执行方式为全量抽取，则运行抽数脚本文件抽取所述抽数数据库的全部数据；

若所述执行方式为增量抽取，则根据所述抽数数据库的元数据的增量时间戳确定抽取的数据内容，根据所述抽取的数据内容运行所述抽数脚本文件。

4.根据权利要求3所述的方法，其特征在于，在所述若所述执行方式为增量抽取，则根据所述抽数数据库的元数据的增量时间戳确定抽取的数据内容之前，还包括：

判断所述抽数数据库的当前版本的数据表结构是否存在增量时间戳；

若所述抽数数据库的当前版本的数据表结构不存在增量时间戳，则建立唯一索引字段，通过所述唯一索引字段确定抽取的数据内容。

5.根据权利要求1所述的方法，其特征在于，在比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化之前，还包括：

识别是否存在保存上一版本的数据源表结构的XML文件；

若不存在所述XML文件，则通过数据库连接接口连接数据库，通过所述数据库查找并获取对应的数据源表结构；

创建XML文件，并将所述数据源表结构保存在所述XML文件中。

6.一种数据抽取系统，其特征在于，包括：

判断模块，用于比对抽数数据库的当前版本的数据源表结构与所述抽数数据库的上一版本的数据源表结构，判断所述抽数数据库的数据源表结构是否发生变化；

生成模块，用于若所述抽数数据库的数据源表结构发生变化，则根据变化内容生成修改目标表结构的脚本文件；

修改模块，用于根据所述修改目标表结构的脚本文件修改目标表结构，并根据修改后的目标表结构生成抽数脚本文件；

抽取模块，用于根据所述抽数脚本文件对所述抽数数据库进行数据抽取。

7.根据权利要求6所述的数据抽取系统，其特征在于，所述判断模块包括：

结构查询单元，用于通过结构化查询语言查询抽数数据库的元数据，根据所述元数据获取当前版本的数据源表结构；

获取单元，用于获取所述抽数数据库保存在XML文件中的上一版本的数据源表结构；

判断单元，用于判断所述当前版本的数据源表结构与所述上一版本的数据源表结构是否存在变化字段，所述变化字段包括增加字段、删减字段以及修改字段；若所述当前版本的数据源表结构与所述上一版本的数据源表结构存在变化字段，则所述抽数数据库的数据源表结构发生变化。