[发明专利]数据仓库的血缘图生成方法、装置、设备及存储介质

说明书

本发明涉及大数据领域，公开了一种数据仓库的血缘图生成方法、装置、设备及存储介质，用于提高血缘图的生成效率。所述数据仓库的血缘图生成方法包括：获取数据仓库的元数据，并对元数据进行去冗余处理，得到目标数据，目标数据包括多个节点对象；根据数据仓库的库关系信息和表关系信息，生成所有节点对象对应的血缘对象；通过血缘对象生成数据血缘图，并对数据血缘图进行分片切割，得到每个节点对象对应的切片图；将每个节点对象对应的切片图缓存至预设缓存空间；当接收到血缘图生成请求时，从预设缓存空间中获取目标切片图，并根据目标切片图生成目标血缘图。此外，本发明还涉及区块链技术，目标血缘图可存储于区块链节点中。

技术领域

本发明涉及节点存储领域，尤其涉及一种数据仓库的血缘图生成方法、装置、设备及存储介质。

背景技术

数据的产生，转移，与处理等流程使得数据之间产生一种链路关系，这种关系描述了数据的依赖关系，我们称之为数据的血缘关系。数据的血缘关系查询是获取关系数据的重要手段。

目前数据仓库的血缘查询会采用图数据引擎的方案，来提高图查询的效率，但是当图的数据量达到兆(M)级别的时候，血缘图的生成耗时通常会到秒级，生成效率低。

发明内容

本发明提供了一种数据仓库的血缘图生成方法、装置、设备及存储介质，用于提高血缘图的生成效率。

本发明第一方面提供了一种数据仓库的血缘图生成方法，包括：

获取数据仓库的元数据，并对所述元数据进行去冗余处理，得到目标数据，所述目标数据包括多个节点对象，每个节点对象包括数据库名称、数据表名称和字段名称；

根据所述数据仓库的库关系信息和表关系信息，生成所有节点对象对应的血缘对象，所述血缘对象包括节点集合和路径集合；

通过所述血缘对象中的节点集合和路径集合，生成数据血缘图，并通过预设图分片策略，对所述数据血缘图进行分片切割，得到每个节点对象对应的切片图；

通过预设缓存算法，将每个节点对象对应的切片图缓存至预设缓存空间；

当接收到血缘图生成请求时，从所述预设缓存空间中获取与所述血缘查询请求对应的目标节点对象对应的目标切片图，并根据所述目标切片图生成目标血缘图。

可选的，在本发明第一方面的第一种实现方式中，所述获取数据仓库的元数据，并对所述元数据进行去冗余处理，得到目标数据，所述目标数据包括多个节点对象，每个节点对象包括数据库名称、数据表名称和字段名称，包括：

获取数据仓库的元数据，并通过预置的数据清洗算法，对所述元数据进行清洗，得到清洁数据，所述清洁数据包括数据库信息、数据表信息、字段信息；

对每个字段信息对应的数据库信息、数据表信息、字段信息进行对象封装，得到目标数据，所述目标数据包括多个节点对象，每个节点对象包括数据库名称、数据表名称和字段名称。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述数据仓库的库关系信息和表关系信息，生成所有节点对象对应的血缘对象，所述血缘对象包括节点集合和路径集合，包括：

通过预设的编码算法，对每个节点对象进行编码，得到每个节点对象对应的节点标识符；

根据所述数据仓库的库关系信息和表关系信息，对每个节点对象进行关联关系生成，得到各关联关系对应的路径对象，每个路径对象包括入节点对象的第一节点标识符和出节点对象的第二节点标识符；

合并多个路径对象得到路径集合，以及合并多个节点对象得到节点集合；

组合所述节点集合和所述路径集合，得到血缘对象。