[发明专利]基于Apache Calcite数据血缘和影响分析的方法及系统

权利要求书

1.一种基于Apache Calcite数据血缘和影响分析的方法，其特征在于，包括：

步骤S1：根据采集的元数据，获取元数据信息，其中，所述元数据信息包括表、字段；

步骤S2：集成Apache Calcite，对所述元数据信息的SQL字符串进行词法和语法分析，转化为抽象语法树AST；

步骤S3：利用抽象语法树AST获取表、字段之间的关系图谱；

步骤S4：根据所述关系图谱，进行表级、字段级的血缘分析与影响分析。

2.根据权利要求1所述的基于Apache Calcite数据血缘和影响分析的方法，其特征在于，所述步骤2包括如下步骤：

步骤S2.1：对Greenplum、GaussDB数据库中的特殊语法进行改造适配，将SQL语句解析为抽象语法树AST；

步骤S2.2：利用自定义解析器，解析抽象语法树AST的节点对象，获取字段血缘依赖关系，写入指定的数据表中，所述解析包括：

对抽象语法树AST中查询、关联节点解析，获取字段与表之间的血缘依赖关系以及依赖详情；

对子查询中的字段，递归解析字段所属物理表信息，获取血缘依赖关系；

其中，通过Apache Calcite将SQL语句不同部分解析封装为不同的节点对象，通过解析节点对象信息从而获取对应的血缘依赖关系。

3.根据权利要求2所述的基于Apache Calcite数据血缘和影响分析的方法，其特征在于，所述自定义解析器包括Calcite SQL解析器；在生成Calcite SQL解析器的过程中，调整config.fmpp文件，以支持所需关键字；其中，config.fmpp文件是Calcite模板配置文件，完成FreeMarker和JavaCC的相关配置；调整templates文件夹中的Parser.jj文件中的解析规则来适应所需数据库解析，使用自定义解析函数满足特殊语法规则解析；其中，Parser.jj文件是JavaCC解析器所需要的解析核心文件；fmpp根据配置文件、模板文件和附加模板文件，自动生成解析文件Parser.jj，经过编译后生成SQL解析器。

4.根据权利要求1所述的基于Apache Calcite数据血缘和影响分析的方法，其特征在于，基于Apache Calcite，在元数据层面建立起技术元数据和业务元数据的关系，实现了字段级、表级的关系穿透，进行不同粒度的血缘分析与影响分析；调用Calcite解析SQL；生成解析后的抽象语法树SqlNode；根据SqlNode的类型调用不同的解析器解析依赖关系。

5.一种基于Apache Calcite数据血缘和影响分析的系统，其特征在于，包括：

模块M1：根据采集的元数据，获取元数据信息，其中，所述元数据信息包括表、字段；

模块M2：集成Apache Calcite，对所述元数据信息的SQL字符串进行词法和语法分析，转化为抽象语法树AST；

模块M3：利用抽象语法树AST获取表、字段之间的关系图谱；

模块M4：根据所述关系图谱，进行表级、字段级的血缘分析与影响分析。

6.根据权利要求5所述的基于Apache Calcite数据血缘和影响分析的系统，其特征在于，所述步骤2包括如下步骤：

模块M2.1：对Greenplum、GaussDB数据库中的特殊语法进行改造适配，将SQL语句解析为抽象语法树AST；

模块M2.2：利用自定义解析器，解析抽象语法树AST的节点对象，获取字段血缘依赖关系，写入指定的数据表中，所述解析包括：

对抽象语法树AST中查询、关联节点解析，获取字段与表之间的血缘依赖关系以及依赖详情；

对子查询中的字段，递归解析字段所属物理表信息，获取血缘依赖关系；

其中，通过Calcite将SQL语句不同部分解析封装为不同的节点对象，通过解析节点对象信息从而获取对应的血缘依赖关系。