[发明专利]数据质量评估方法及装置、计算机可读存储介质、终端

说明书

一种数据质量评估方法及装置、计算机可读存储介质、终端，所述数据质量评估方法包括：接收第一供应方提供的多个待评估数据；利用多个第二供应方提供的数据对所述多个待评估数据进行投票分类，以得到分类结果；根据所述分类结果和所述多个待评估数据的实际标签值计算所述多个待评估数据的准确率。通过本发明可以提高属性类数据评估的准确性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据质量评估方法及装置、计算机可读存储介质、终端。

背景技术

大数据已经被广泛认为是一种战略性的新型资源，可以定义当今时代产生的海量数据以及相关的技术发展与服务创新。大数据蕴藏着巨大的商业价值。在数据流通领域，随着数据量迅速增长，不同数据源的数据质量参次不齐，数据质量有不同的概念和标准，数据质量一般包括数据的准确性、完整性、及时性、一致性等定量描述。对于大数据时代下的用户来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。用户要想充分发挥大数据所赋予的机遇和优势，前提是必须拥有可靠、准确、及时的高质量的数据，只有从高质量的大规模数据中提取隐含的、有用的信息，才能做出更加精准、更加符合市场和客户需求的决策。为此，用户需要更加注重大数据时代下的数据质量及其重要性。

现有技术中，市场上数据监测和数据质量评估方现有普遍的模式是购买一定数量的“精准数据”，在数据完成流通过程后，通过对比数据包与“精准数据”进行比对，形成准确性验证报告。

但是，由于市场上不存在属性类用户画像数据标签完全准确的标签数据，“精准数据”本身存在一定的误差，因此对于用“准确数据”进行数据质量验证的方法实际上有很大的误差。在实际应用中，我们无法得到数据的真实值，市场上不存在互联网静态数据标签完全准确的标签数据，比如即使来自运营商身份证验证的数据，依然存在手机卡借旁人使用，产生一定的准确性误差的问题。

发明内容

本发明解决的技术问题是如何提高属性类数据评估的准确性。

为解决上述技术问题，本发明实施例提供一种数据质量评估方法，数据质量评估方法包括：接收第一供应方提供的多个待评估数据；利用多个第二供应方提供的数据对所述多个待评估数据进行投票分类，以得到分类结果；根据所述分类结果和所述多个待评估数据的实际标签值计算所述多个待评估数据的准确率。

可选的，所述多个待评估数据具有多个层级，相同层级的待评估数据具有相同的数据来源，所述利用多个第二供应方提供的数据对所述多个待评估数据进行投票分类包括：对于每一层级的待评估数据，利用多个第二供应方提供的数据进行投票分类，以得到所述分类结果。

可选的，所述对于每一层级的待评估数据，利用多个第二供应方提供的数据进行投票分类包括：对每一层级的待评估数据进行抽样，并利用多个第二供应方提供的数据对抽样后的各个层级的待评估数据进行投票分类。

可选的，所述根据所述分类结果和所述多个待评估数据的实际标签值计算所述多个待评估数据的准确率包括：根据所述分类结果和每一层级的待评估数据的实际标签值计算每一层级的待评估数据的准确率；计算各个层级的待评估数据的准确率与对应的权重的乘积之和，以作为所述多个待评估数据的准确率，每一层级的权重为该层级的待评估数据的数量与所述多个待评估数据的总量的比值。

可选的，所述多个待评估数据为属性数据，每一属性数据包括主体标识和至少一个键值，每一键值对应一个实际标签值，所述分类结果包括对每一待评估数据投票后的估计标签值，每一待评估数据的估计标签值为针对该待评估数据的实际标签值的投票值。

可选的，所述利用多个第二供应方提供的数据对所述多个待评估数据进行投票分类包括：对于每一待评估数据，确定所述多个第二供应方提供的数据中与待评估数据的主体标识相同的投票数据；根据所述投票数据的标签值和所述投票数据所属的第二供应方的预设准确率，确定所述待评估数据的估计标签值，以作为所述分类结果。