[发明专利]数据血缘关系的确定方法及装置、存储介质、电子装置

说明书

本发明提供了一种数据血缘关系的确定方法及装置、存储介质、电子装置，上述方法包括：获取抽取转换加载ETL任务的元数据，其中，元数据包括以下至少之一：数据库，数据表，数据字段；对元数据进行分析处理，以将ETL任务的元数据，元数据的包含关系以及元数据之间的映射关系保存在图数据库中，其中，包含关系用于指示数据库，数据表和数据字段之间的两两包含关系，映射关系用于指示数据库，数据表和数据字段之间的两两映射关系；响应目标数据的数据查询请求，通过图数据库确定目标数据的数据血缘关系，即将ETL任务的元数据，元数据的包含关系以及元数据之间的映射关系保存在图数据库中，进而通过图数据库确定目标数据的数据血缘关系。

技术领域

本发明主要涉及通信领域，具体而言，涉及一种数据血缘关系的确定方法及装置、存储介质、电子装置。

背景技术

随着信息化和互联网技术的高速发展，“信息爆炸”的时代已然来临。不管是政府还是企业，电子信息化成为自身发展必然趋势，而各种信息化系统中的数据不仅数据量巨大，并且存储介质和格式多种多样，因此消除“数据孤岛”，做好数据整合、共享和对整合后的数据进行挖掘分析越来越重要。

在解决“数据孤岛”的方法中，数据仓库技术是一种最佳实践。数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。而ETL(Extract-Transform-Load，抽取-转换-加载)是构建数据仓库的关键环节。而通过ETL进行数据交换和共享的过程，其数据流动的记录和分析也具有较大的实际意义，比如数据溯源、评估数据价值、数据质量评估和数据归档及销毁的参考等。

在相关技术中，基于关系型数据库的数据血缘关系分析方法，模型创建、存储效率以及复杂情况下的查询效率都无法满足复杂情景下的需求。传统关系型数据库针对数据血缘关系建模较为复杂，需要涉及多张关联数据表并且概念较多不易于开发人员理解；存储时需要多表存入，代码逻辑较为复杂；查询速度局限于关联数据库多表查询，特别是对于数据血缘关系链路较长和复杂时，性能问题尤其明显。

针对相关技术中，基于关系型数据库的数据血缘关系分析方法，模型建立、数据存数以及查询数据血缘关系都较为复杂等问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种数据血缘关系的确定方法及装置、存储介质、电子装置，以至少解决相关技术中，基于关系型数据库的数据血缘关系分析方法，模型建立、数据存数以及查询数据血缘关系都较为复杂等问题。

本发明实施例提供了一种数据血缘关系的确定方法，包括：获取抽取转换加载ETL任务的元数据，其中，所述元数据包括以下至少之一：数据库，数据表，数据字段；对所述元数据进行分析处理，以将所述ETL任务的元数据，所述元数据的包含关系以及所述元数据之间的映射关系保存在图数据库中，其中，所述包含关系用于指示所述数据库，数据表和数据字段之间的两两包含关系，所述映射关系用于指示所述数据库，数据表和数据字段之间的两两映射关系；响应目标数据的数据查询请求，通过所述图数据库确定目标数据的数据血缘关系。

可选地，对所述元数据进行分析处理，以将所述ETL任务的元数据保存在图数据库中，包括：获取所述ETL任务的数据源端的元数据和所述ETL任务的数据目的端的元数据；根据所述图数据库提供的元数据类型确定所述数据源端的元数据的第一元数据类型以及所述数据目的端的元数据的第二元数据类型；将所述数据源端的元数据按照所述第一元数据类型保存在所述图数据库中，以及将所述数据目的端的元数据按照所述第二元数据类型保存在所述图数据库中。

可选地，对所述元数据进行分析处理，以将所述元数据的包含关系保存在图数据库中，包括：确定所述数据库，数据表和数据字段之间的两两包含关系；按照所述图数据库提供的对象创建方式对所述两两包含关系进行创建，并将创建后的两两包含关系保存在所述图数据库中。