[发明专利]基于数据仓库的数据血缘关系处理方法及装置

权利要求书

1.一种基于数据仓库的数据血缘关系处理方法，其特征在于，包括：

获取数据仓库中所包含的工作集以及ETL任务；

利用预设的正则表达式，从所述工作集的字符信息中获取得到各个所述工作集之间的包含关系，以及所述工作集和所述ETL任务之间的包含关系；

对所述工作集的字符信息进行解析，得到各个所述ETL任务之间的依赖关系；

对所述ETL任务进行解析，得到所述ETL任务所包含的各个组件；

对每个所述组件进行解析，得到每个所述组件中所包含的各个库表、各个所述库表之间的依赖关系、各个字段、各个所述字段之间的依赖关系；

基于每个所述组件所包含的各个所述库表之间的依赖关系，构建所述数据仓库中各个所述库表之间的依赖关系；

基于每个所述组件所包含的各个所述字段之间的依赖关系，构建所述数据仓库中各个所述字段之间的依赖关系；

基于所述ETL任务中所包含的各个所述库表，生成所述ETL任务和所述库表之间的包含关系；

获取每个所述库表所包含的字段，并基于每个所述库表所包含的字段，生成所述库表和所述字段之间的包含关系；

获取各个所述库表的有效词语集合，并基于各个所述库表的有效词语集合，确定各个所述库表之间的语义近似关系。

2.根据权利要求1所述的方法，其特征在于，所述获取数据仓库中所包含的工作集以及ETL任务，包括：

从预先构建的第三信息表中获取数据仓库中所包含的工作集以及ETL任务；

其中，所述第三信息表的构建过程包括：获取所述数据仓库的各个项目文件；将各个所述项目文件中文件后缀名为.kjb的项目文件，标识为所述工作集，以及将文件后缀名为.ktr的项目文件，标识为所述ETL任务；基于各个所述工作集以及所述ETL任务，构建所述第三信息表。

3.根据权利要求1所述的方法，其特征在于，所述利用预设的正则表达式，从所述工作集的字符信息中获取得到各个所述工作集之间的包含关系，以及所述工作集和所述ETL任务之间的包含关系，包括：

从所述工作集的字符信息中，获取与第一正则表达式匹配的字符串；

从与所述第一正则表达式匹配的字符串中，获取与第二正则表达式匹配的字符串；

从工作集的字符信息中，获取与第三正则表达式匹配的字符串；

从与所述第二正则表达式匹配的字符串中，获取与第四正则表达式匹配的字符串，并从与所述第四正则表达式匹配的字符串中，解析得到所述工作集所包含的其他工作集；

从与所述第三正则表达式匹配的字符串中，获取与第五正则表达式匹配的字符串，并从与所述第五正则表达式匹配的字符串中，解析得到所述工作集所包含的ETL任务；

基于每个所述工作集所包含的其他工作集，生成各个所述工作集之间的包含关系；

基于每个所述工作集所包含的ETL任务，生成所述工作集和所述ETL任务之间的包含关系。

4.根据权利要求1所述的方法，其特征在于，所述对所述工作集的字符信息进行解析，得到各个所述ETL任务之间的依赖关系，包括：

从所述工作集的字符信息中，获取与第一关键字匹配的字符串；

从与所述第一关键字匹配的字符串中，获取与第二关键字匹配的字符串；

从与所述第二关键字匹配的字符串中，解析得到源任务的名称，以及依赖于所述源任务的目标任务的名称；

从所述工作集的字符信息中，获取与第三关键字匹配的字符串；

从与所述第三关键字匹配的字符串中，解析得到各个文件路径；

从各个所述文件路径中获取包含有所述源任务的名称的文件路径，以及包含有所述目标任务的名称的文件路径；

根据包含有所述源任务的名称的文件路径，查询得到与所述源任务对应的ETL任务；

根据包含有所述目标任务的名称的文件路径，查询得到与所述目标任务对应的ETL任务；

基于所述源任务和所述目标任务之间的依赖关系、与所述源任务对应的ETL任务、与所述目标任务对应的ETL任务，生成各个ETL任务之间的依赖关系。