[发明专利]基于血缘关系的数据管理方法及装置

说明书

本申请提供一种基于血缘关系的数据管理方法及装置，该方法可以包括：对任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点；获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点；根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表；若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中的数据不匹配，则确定所述目标数据表和/或所述校验数据表存在数据错误。

技术领域

本申请涉及大数据技术领域，特别是基于血缘关系的数据管理方法及装置。

背景技术

在数据级联系统中，数据在各个层次的数据节点之间流转，海量复杂的数据通过各种加工融合转换，从低层级的数据节点逐渐向高层级的数据节点汇聚。

相关技术中，数据级联系统的数据汇聚由于部分数据节点可能存在加工异常或者传输异常的问题，导致数据在从低层级的数据节点向高层级的数据节点传输的过程中可能会出现数据错误或者数据缺失等情况。

发明内容

有鉴于此，本申请提供基于血缘关系的数据管理方法及装置，用于校验数据级联系统中存储的数据，从而发现数据级联系统中存储的异常数据。

具体的，本申请通过如下技术方案实现：

根据本申请的第一方面，提出了一种基于血缘关系的数据管理方法，应用于数据级联系统中的任一数据节点，包括：

对所述任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点；

获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点；

根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表；

若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中的数据不匹配，则确定所述目标数据表和/或所述校验数据表中存在数据错误。

根据本申请的第二方面，提出了一种基于血缘关系的数据管理装置，应用于数据级联系统中的任一数据节点，包括：

血缘分析单元，用于对所述任一数据节点中待校验的目标数据表进行血缘分析，以确定对应于所述目标数据表的原始数据表以及所述原始数据表所属的原始数据节点；

血缘路径获取单元，用于获取所述原始数据表对应的目标血缘路径，所述目标血缘路径的起点为所述原始数据节点、终点为与所述任一数据节点处于同一层级的其他数据节点；

校验数据表获取单元，用于根据所述目标血缘路径获取所述其他数据节点中汇聚了所述原始数据表的校验数据表；

匹配单元，用于若所述目标数据表与所述校验数据表中的数据相匹配，则确定所述目标数据表与所述校验数据表中的数据均正确；若所述目标数据表与所述校验数据表中的数据不匹配，则确定所述目标数据表和/或所述校验数据表中存在数据错误。

根据本申请的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如上述第一方面的实施例中所述的方法。