[发明专利]数据质量分析方法及装置、存储介质、终端

说明书

一种数据质量分析方法及装置、存储介质、终端，所述方法包括接收第一供应方提供的多个待评估数据；对于每一待评估数据，按照第二供应方集合中提供相同数据的第二供应方的数量确定待评估数据的层级；统计层级大于等于2的每一待评估数据的标签值的数量，并将数量最大的标签值作为该待评估数据的准确数据；对于层级大于等于2的待评估数据，确定第一供应方在每一层级的待评估数据的准确率；确定第一供应方在层级0和层级1的待评估数据的准确率；根据第一供应方在每一层级的待评估数据的准确率和数据量权重，计算所述第一供应方的总准确率。本发明技术方案可以提高数据评估的准确性。

技术领域

本发明涉及数据流通技术领域，尤其涉及一种数据质量分析方法及装置、存储介质、终端。

背景技术

大数据已经被广泛认为是一种战略性的新型资源，可以定义当今时代产生的海量数据以及相关的技术发展与服务创新。大数据蕴藏着巨大的商业价值。在数据流通领域，随着数据量迅速增长，不同数据源的数据质量参次不齐，数据质量有不同的概念和标准，数据质量一般包括数据的准确性、完整性、及时性、一致性等定量描述。对于大数据时代下的用户来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。用户要想充分发挥大数据所赋予的机遇和优势，前提是必须拥有可靠、准确、及时的高质量的数据，只有从高质量的大规模数据中提取隐含的、有用的信息，才能做出更加精准、更加符合市场和客户需求的决策。为此，用户需要更加注重大数据时代下的数据质量及其重要性。

现有技术中，市场上数据监测和数据质量分析方现有普遍的模式是购买一定数量的“精准数据”，在数据完成流通过程后，通过对比数据包与“精准数据”进行比对，形成准确性验证报告。

但是，由于市场上不存在完全准确的标签数据，“精准数据”本身存在一定的误差，因此对于用“准确数据”进行数据质量验证的方法实际上有很大的误差。在实际应用中，我们无法得到数据的真实值，市场上不存在数据标签完全准确的标签数据，比如来自运营商身份证验证的数据，依然存在手机卡借旁人使用的情况，产生一定的准确性误差的问题。

发明内容

本发明解决的技术问题是如何提高数据评估的准确性。

为解决上述技术问题，本发明实施例提供一种数据质量分析方法，数据质量分析方法包括：

接收第一供应方提供的多个待评估数据；对于每一待评估数据，按照第二供应方集合中提供相同数据的第二供应方的数量确定所述待评估数据的层级，所述层级等于所述第二供应方的数量，所述第二供应方不同于所述第一供应方；统计层级大于等于2的每一待评估数据的标签值的数量，并将数量最大的标签值作为该待评估数据的准确数据；对于层级大于等于2的待评估数据，将所述第一供应方提供的待评估数据的标签值和所述待评估数据的准确数据进行比对，并根据比对结果确定所述第一供应方在每一层级的待评估数据的准确率；根据层级大于等于2的待评估数据的标签值比例、层级0的待评估数据的标签值比例或层级1的待评估数据的标签值比例和所述第一供应方在层级大于等于2的待评估数据的平均准确率，确定所述第一供应方在层级0和层级1的待评估数据的准确率，所述标签值比例为各个标签值的数量之间的比例；根据所述第一供应方在每一层级的待评估数据的准确率和数据量权重，计算所述第一供应方的总准确率。

可选的，所述根据层级大于等于2的待评估数据的标签值比例、层级0的待评估数据的标签值比例或层级1的待评估数据的标签值比例和所述第一供应方在层级大于等于2的待评估数据的平均准确率，确定所述第一供应方在层级0和层级1的待评估数据的准确率包括：分别根据所述层级大于等于2的待评估数据的标签值比例与层级0的待评估数据的标签值比例以及层级1的待评估数据的标签值比例的差值确定层级0标签值偏差度和层级1标签值偏差度；分别根据所述层级0标签值偏差度和层级1标签值偏差度以及预设线性参数计算层级0修正值和层级1修正值；分别根据所述平均准确率以及层级0修正值和层级1修正值的差值确定所述第一供应方在层级0和层级1待评估数据的准确率。