[发明专利]一种数据图谱分析系统以及方法

说明书

本发明公开了一种数据图谱分析系统，包括：数据处理模块，数据处理模块包括元数据采集单元、以及与元数据采集单元连接的数据流向分析单元；数据存储模块，数据存储模块包括与数据流向分析单元连接的数据图谱存储单元；数据展示模块，数据展示模块包括与数据图谱存储单元连接的数据图谱展示单元；元数据采集单元用于从各个生产数据库和分析数据库收集元数据，数据流向分析单元利用解析工具JSQLParser分析ETL脚本，并结合元数据，得到各个生产数据库和分析数据库之间表和字段层级的关联信息，关联信息存入数据图谱存储单元，数据图谱展示单元用于展示图形化的关联信息。本发明的上述技术方案能够存储和展示元数据之间的关联关系。

技术领域

本发明涉及网络技术领域，具体来说，涉及一种数据图谱分析系统以及方法。

背景技术

数据图谱分析系统记载了对数据处理的整个过程，包括数据的起源和处理这些数据的所有后继操作。大数据平台下分布式数据共享日益突出，数据的来源对于分析数据、统一数据口径，管理模型变更、衡量数据的可信度、保证数据的质量等极为重要。但是，现有技术中并没有这样的数据图谱分析系统。

发明内容

针对相关技术中存在的问题，本发明提出一种数据图谱分析系统以及方法，能够存储和展示元数据之间的关联关系。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据图谱分析系统，包括：数据处理模块，数据处理模块包括元数据采集单元、以及与元数据采集单元连接的数据流向分析单元；数据存储模块，数据存储模块包括与数据流向分析单元连接的数据图谱存储单元；数据展示模块，数据展示模块包括与数据图谱存储单元连接的数据图谱展示单元；

其中，元数据采集单元用于从各个生产数据库和分析数据库收集元数据，数据流向分析单元利用解析工具JSQLParser分析ETL脚本，并结合元数据，得到各个生产数据库和分析数据库之间表和字段层级的关联信息，关联信息存入数据图谱存储单元，数据图谱展示单元用于展示图形化的关联信息。

根据本发明的实施例，元数据采集单元还用于通过工作流管理平台Airflow对收集元数据的流程进行调度。

根据本发明的实施例，数据图谱展示单元通过spring boot框架、Neo4j数据库和echarts构建数据字典和数据图谱展示页面以展示图形化的关联信息。

根据本发明的实施例，其中数据图谱存储单元包括Neo4j数据库，关联信息存入Neo4j数据库中。

根据本发明的实施例，数据存储模块还包括与元数据采集单元连接的元数据存储单元，其中元数据采集单元将收集的元数据集成到元数据存储单元中。

根据本发明的实施例，数据展示模块还包括元数据管理单元，元数据管理单元用于提供查询和展示界面以查看和查询元数据。

根据本发明的另一方面，提供了一种数据图谱分析方法，包括：

S1，从各个生产数据库和分析数据库收集元数据；

S2，利用解析工具JSQLParser分析ETL脚本，并结合元数据，得到各个生产数据库和分析数据库之间表和字段层级的关联信息；

S3，展示图形化的关联信息。

根据本发明的实施例，步骤S1还包括：通过工作流管理平台Airflow对收集元数据的流程进行调度。

根据本发明的实施例，步骤S3具体包括：通过spring boot框架、Neo4j数据库和echarts构建数据字典和数据图谱展示页面以展示图形化的关联信息。