[发明专利]构建全链路的方法、装置、设备和计算机可读存储介质

说明书

本申请的实施例提供了构建全链路的方法、装置、设备和计算机可读存储介质。所述方法包括获取SQL语句；对所述SQL语句进行预处理，得到规则化的SQL语句；解析所述规则化的SQL语句，得到构建所述SQL语句的最小单元，基于所述最小单元，构建中心表上下游的全链路。以此方式，可构造出体现表与字段与任务之间的关系的全链路。

技术领域

本申请的实施例涉及数据分析领域，尤其涉及构建全链路的方法、装置、设备和计算机可读存储介质。

背景技术

数据血缘分析是元数据管理和数据治理工具的核心功能，通过建立数据之间的血缘关系(链路)，可以分析上游数据发生变化是否影响下游关联的数据；通过分析数据血缘可以更好的理解数据和使用数据。

但是，通过现有方式构建的血缘关系，对于环境的依赖性比较强，部分产品为插件，需要在集群上安装使用，不够轻量化；对于db类型支持的不够全面；仅有对表或者字段血缘的关系，没有表与字段与任务之间的关系。

发明内容

根据本申请的实施例，提供了一种构建全链路的方案。

在本申请的第一方面，提供了一种构建全链路的方法。该方法包括：

获取SQL语句；

对所述SQL语句进行预处理，得到规则化的SQL语句；

解析所述规则化的SQL语句，得到构建所述SQL语句的最小单元，基于所述最小单元，构建中心表上下游的全链路。

进一步地，所述获取SQL语句包括：

通过钩子函数获取任务中封装的aql语句。

进一步地，所述对所述SQL语句进行预处理，得到规则化的SQL语句包括：

对所述SQL语句进行注释处理、自定义变量处理和/或兼容语法处理，得到规则化的SQL语句。

进一步地，所述解析所述规则化的SQL语句，得到构建所述SQL语句的最小单元包括：

解析所述规则化的SQL语句，得到构建所述SQL语句的输入表、输入表字段、任务信息、输出表和数据表字段。

在本申请的第二方面，提供了一种构建全链路的装置。该装置包括：

获取模块，用于获取SQL语句；

优化模块，用于对所述SQL语句进行预处理，得到规则化的SQL语句；

构建模块，用于解析所述规则化的SQL语句，得到构建所述SQL语句的最小单元，基于所述最小单元，构建中心表上下游的全链路。

进一步地，所述获取SQL语句包括：

通过钩子函数获取任务中封装的aql语句。

进一步地所述对所述SQL语句进行预处理，得到规则化的SQL语句包括：

对所述SQL语句进行注释处理、自定义变量处理和/或兼容语法处理，得到规则化的SQL语句。

进一步地，所述解析所述规则化的SQL语句，得到构建所述SQL语句的最小单元包括：

解析所述规则化的SQL语句，得到构建所述SQL语句的输入表、输入表字段、任务信息、输出表和数据表字段。

在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。