[发明专利]基于Apache Calcite数据血缘和影响分析的方法及系统

说明书

本发明提供了一种基于Apache Calcite数据血缘和影响分析的方法及系统，包括：根据采集的元数据，获取元数据信息，其中，所述元数据信息包括表、字段；集成Apache Calcite，对所述元数据信息的SQL字符串进行词法和语法分析，转化为抽象语法树AST；利用抽象语法树AST获取表、字段之间的关系图谱；根据所述关系图谱，进行表级、字段级的血缘分析与影响分析。本发明解析Greenplum、GaussDB等多种不同类型数据库SQL，针对不同数据库不同的关键字、函数等特殊语法，具有高度可扩展性，能够支持解析多种数据库的特殊语法。

技术领域

本发明涉及数据分析技术领域，具体地，涉及基于动态数据管理框架ApacheCalcite的数据血缘分析和影响分析的方法及系统。

背景技术

数据血缘分析和影响分析是数据管理和数据治理工具的核心功能，通过建立数据之间的血缘关系，一方面可以追溯下游数据的来源与加工逻辑，另一方面可以快速分析上游数据发生变化时的影响范围，从而能够及时的进行变更影响预警及配套改造。ApacheCalcite是提供了标准SQL语言、多种查询优化和连接各种数据源的基础框架，能够接入多种数据并实现使用SQL查询。但是，Apache Calcite只支持解析常规SQL，对于不同类型数据库的SQL解析会报错或者解析结果不完全。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于Apache Calcite的数据血缘分析和影响分析的方法及系统。

根据本发明提供的一种基于Apache Calcite数据血缘和影响分析的方法，包括：

步骤S1：根据采集的元数据，获取元数据信息，其中，所述元数据信息包括表、字段；

步骤S2：集成Apache Calcite，对所述元数据信息的SQL字符串进行词法和语法分析，转化为抽象语法树AST；

步骤S3：利用抽象语法树AST获取表、字段之间的关系图谱；

步骤S4：根据所述关系图谱，进行表级、字段级的血缘分析与影响分析。

优选地，所述步骤2包括如下步骤：

步骤S2.1：对Greenplum、GaussDB等数据库中的特殊语法进行改造适配，将SQL语句解析为抽象语法树AST；

步骤S2.2：利用自定义解析器，解析抽象语法树AST的节点对象，获取字段血缘依赖关系，写入指定的数据表中，所述解析包括：

对抽象语法树AST中查询、关联节点解析，获取字段与表之间的血缘依赖关系以及依赖详情；

对子查询中的字段，递归解析字段所属物理表信息，获取血缘依赖关系；

其中，通过Calcite将SQL语句不同部分解析封装为不同的节点对象，通过解析节点对象信息从而获取对应的血缘依赖关系。

优选地，所述自定义解析器包括Calcite SQL解析器；在生成Calcite SQL解析器的过程中，调整config.fmpp文件，以支持所需关键字；其中，config.fmpp文件是Calcite模板配置文件，完成FreeMarker和JavaCC的相关配置；调整templates文件夹中的Parser.jj文件中的解析规则来适应所需数据库解析，使用自定义解析函数满足特殊语法规则解析；其中，Parser.jj文件是JavaCC解析器所需要的解析核心文件；fmpp根据配置文件、模板文件和附加模板文件，自动生成解析文件Parser.jj，经过编译后生成SQL解析器。