[发明专利]一种元数据流向分析方法及系统

说明书

本发明公开了一种元数据流向分析方法及系统，该方法包括以下步骤：(1)获取目标SQL语句；(2)将SQL语句解析为Insert部分与Select部分；(3)对Insert部分进行解析，获得Insert目标表和Insert目标表字段，对Select部分进行解析，获得Select内容部分与Form表关联部分；(4)将查询到的结果重新组装，得到结果。本发明能够对复杂的SQL语句进行数据流向分析，分析导入数仓数据库表中的数据来源，能够明确表中的每一个字段来源，从而达到便于追溯数据来源的效果。

技术领域

本发明属于数据库技术领域，尤其涉及一种元数据流向分析方法及系统。

背景技术

现在银行数据越来越多、每天数据量越来越大，面对分散的数据，很多银行建立了数据仓库，将所需数据从原来的数据中抽取出来，进行加工和集成之后，进入数据仓库。

数据仓库的分析数据一般分为日、周、月、季、年等，进入书藏的数据都要经过数据清洗、加工、集成、统计等多个步骤，但经了很多步骤以后，最终进入数仓的数据来源在哪，已经无从知晓。数据处理普遍的做法都是通过SQL语句，从源数据库中导出数据，根据日、周、月、季、年等时间跨度，统计结果后进入数仓，从SQL语句人工的分析数据的流向，费时费力，每次SQL变更需要人分析SQL语句，非常不便。现有的第三方SQL语法分析框架、项目，只能分析SQL语法，没有分析数据流向。

发明内容

本发明克服了现有技术的不足，提供一种元数据流向分析方法及系统，以解决现有技术中存在的问题。

为达到上述目的，本发明采用的技术方案为：一种元数据流向分析方法，该方法包括以下步骤：

(1)获取目标SQL语句；

(2)将SQL语句解析为Insert部分与Select部分；

(3)对Insert部分进行解析，获得Insert目标表和Insert目标表字段，对Select部分进行解析，获得Select内容部分与Form表关联部分；

(4)将查询到的结果重新组装，得到结果。

本发明一个较佳实施例中，在步骤(1)与步骤(2)之间还包括以下步骤：对SQL语句的相关信息进行判断。

本发明一个较佳实施例中，SQL语句的相关信息包括SQL语句的长度、引用计数、表关系列表以及table计数。

本发明一个较佳实施例中，在步骤(3)与步骤(4)之间还可包括以下步骤：

对Select内容部分进行解析，获取插入Insert目标表的源数据字段；

对Form表关联部分进行解析，获得数据来源。

本发明一个较佳实施例中，在获取插入Insert目标表的源数据字段之前，还需要对Select内容部分的类型进行判断，如为混合类型，则采用SQL函数识别字段信息，不是混合类型，则直接记录字段信息。

本发明一个较佳实施例中，在获得数据来源之前，需要对Form表关联部分进行表关联判断，正确则直接进行查表，错误则对Select内容部分的Form表关联部分再进行解析。

本发明一个较佳实施例中，在步骤(4)中，根据关联关系获得插入Insert目标表的字段，得到相对应的源数据表和字段信息。

本发明还提供了一种元数据流向分析系统，包括

接收模块，用于获取目标SQL语句；

第一判断模块，用于对SQL语句的基本信息进行判断；

第二判断模块，用于对Select内容部分的类型进行判断，判断Select内容部分的类型是否为混合类型；