[发明专利]一种ETL数据血统查询系统及查询方法

权利要求书

1.一种ETL数据血统查询系统，其特征在于，包括一运行模块与一数据血统管理模块，

所述运行模块能够运行任务脚本、并且能够划分任务形成带有操作信息的任务脚本文件，并将所述带有操作信息的任务划分文件传送至所述数据血统管理模块；

所述数据血统管理模块能够接受用户配置文件，收集源数据文件、带有操作信息的任务脚本文件，对数据血统信息进行存储。

2.如权利要求1所述的ETL数据血统查询系统，其特征在于，所述运行模块包括：

一操作划分单元，用于对任务脚本进行划分、形成带有操作信息的任务脚本文件；

一脚本运行单元：获取源数据与运行带有操作信息的任务划分文件，运行任务；

3.如权利要求1所述的ETL数据血统查询系统，其特征在于，所述数据血统管理模块包括：

一数据血统获取单元，能够发送和接受用户配置文件、获取操作信息的任务脚本文件，将数据血统写入数据血统表与数据血统附属表；

一数据血统存储单元，用于存储所述数据血统表与数据血统附属表。

4.如权利要求3所述的ETL数据血统查询系统，其特征在于，所述数据血统获取单元包括：

一操作信息获取子单元，用于获取用户配置文件、带有操作信息的任务脚本文件与任务源文件；

一字段信息获取子单元，用于获取一次操作的字段信息；

一控制子单元，用于根据所述操作信息获取子单元与所述字段信息获取子单元获取的数据进行判断，确定对应操作对每个字段的行为结果。

5.如权利要求4所述的ETL数据血统查询系统，其特征在于，所述控制子单元能够对当前运行任务进行监控。

6.如权利要求4所述的ETL数据血统查询系统，其特征在于，所述行为结果包括：增行，减行，添加，删除，更新，修改元数据，查询。

7.一种应用权利要求1至6中任一项所述系统的ETL数据血统查询方法，其特征在于，包括步骤：

S1：用户填写配置文件，所述配置文件由数据血统获取单元获取；

S2：操作划分单元获取ETL任务脚本并对其处理，生成带有操作信息的任务脚本文件；

S3：所述脚本运行单元获取带有操作信息的任务脚本文件进行处理，生成脚本运行文件；

S4：数据血统获取单元获取脚本运行文件、源数据文件进行分析，获取数据血统；

S5：所述数据血统获取单元将数据血统写入数据血统表与数据血统附属表；

S6：所述数据血统获取单元将数据血统表与数据血统附属表存入数据血统存储单元。

8.如权利要求7所述的ETL数据血统查询方法，其特征在于，所述步骤S4具体为：

操作信息获取子单元根据配置文件获取一些列的操作的操作号与SQL语言，字段信息获取子单元获取一次操作所得到的字段。