[发明专利]数据置信度计算方法及装置、计算机设备和可读存储介质

说明书

本申请提供一种数据置信度计算方法及装置、计算机设备和可读存储介质，涉及大数据处理技术领域。本申请在获取到包括业务主键类型相同的已入库业务数据子集及待入库业务数据子集的目标业务数据集后，根据该目标业务数据集所对应的非主键数据类型的预设内容构建规则，对该目标业务数据集中每条业务数据的初始置信度进行处理，得到每条业务数据中目标数据内容的临时置信度，接着根据该目标业务数据集中每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在该目标业务数据集中的数据置信度，从而降低数据置信度计算时的人力依赖，提升数据置信度的准确性及可靠性。

技术领域

本申请涉及大数据处理技术领域，具体而言，涉及一种数据置信度计算方法及装置、计算机设备和可读存储介质。

背景技术

随着互联网技术的快速发展，大数据处理技术在各大行业的应用越发广泛。在大数据处理技术的具体实施过程中，通常需要收集大量的业务数据进行数据沉淀以便于执行后续业务操作。其中需要注意的是，数据收集的周期、手段、技术、录入人员的误操作、不同录入人员录入不统一等多重因素往往会导致收集到的数据存在很多不确定性，需要确定被收集数据的置信度来知晓数据的可信程度。

目前，被收集数据的置信度通常需要依赖于业务专家对业务数据的理解，由业务专家人工识别数据并人为判定得到。由此，这种置信度确定方案非常依赖人力，确定出的数据置信度的准确性无法得到保证，同时人工确定出的数据置信度仅能在特定时间节点可信，确定出的数据置信度往往会随着时间节点变动而逐渐变得过时且无效。

发明内容

有鉴于此，本申请的目的在于提供一种数据置信度计算方法及装置、计算机设备和可读存储介质，能够结合已入库业务数据及待入库业务数据各自的数据分布特征进行置信度计算，降低数据置信度计算时的人力依赖，提升数据置信度的准确性，并确保同一数据内容的数据置信度随着时间变动同步更新，提升数据置信度的可靠性。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请提供一种数据置信度计算方法，所述方法包括：

获取目标业务数据集，其中所述目标业务数据集包括业务主键类型相同的至少一个已入库业务数据子集及至少一个待入库业务数据子集；

对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度；

根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度；

根据所述目标业务数据集中与所述业务主键类型对应的每个目标主键内容的出现总频次，以及每个业务数据子集中的所有目标数据内容的出现频次和临时置信度，计算每个目标数据内容在所述目标业务数据集中的数据置信度。

在可选的实施方式中，所述对所述目标业务数据集进行置信度初始化，得到所述目标业务数据集中每条业务数据的初始置信度的步骤，包括：

针对所述目标业务数据集包括的每个业务数据子集，根据预先配置的数据来源与子集置信度之间的对应关系，确定该业务数据子集的目标子集置信度；

将所述目标子集置信度作为该业务数据子集中每条业务数据的初始置信度。

在可选的实施方式中，所述根据所述目标业务数据集所对应的至少一种非主键数据类型的预设内容构建规则，对每条业务数据的初始置信度进行置信度预处理，得到每条业务数据中与对应非主键数据类型匹配的目标数据内容的临时置信度的步骤，包括：

针对每条业务数据，提取每种非主键数据类型在该业务数据中对应的目标数据内容；

将对应非主键数据类型相同的预设内容构建规则与目标数据内容进行规则匹配；