[发明专利]数据质量分析方法及装置、存储介质、终端

权利要求书

1.一种数据质量分析方法，其特征在于，包括：

接收第一供应方提供的多个待评估数据；

对于每一待评估数据，按照第二供应方集合中提供相同数据的第二供应方的数量确定所述待评估数据的层级，所述层级等于所述第二供应方的数量，所述第二供应方不同于所述第一供应方；

统计层级大于等于2的每一待评估数据的标签值的数量，并将数量最大的标签值作为该待评估数据的准确数据；

对于层级大于等于2的待评估数据，将所述第一供应方提供的待评估数据的标签值和所述待评估数据的准确数据进行比对，并根据比对结果确定所述第一供应方在每一层级的待评估数据的准确率；

根据层级大于等于2的待评估数据的标签值比例、层级0的待评估数据的标签值比例或层级1的待评估数据的标签值比例和所述第一供应方在层级大于等于2的待评估数据的平均准确率，确定所述第一供应方在层级0和层级1的待评估数据的准确率，所述标签值比例为各个标签值的数量之间的比例；

根据所述第一供应方在每一层级的待评估数据的准确率和数据量权重，计算所述第一供应方的总准确率。

2.根据权利要求1所述的数据质量分析方法，其特征在于，所述根据层级大于等于2的待评估数据的标签值比例、层级0的待评估数据的标签值比例或层级1的待评估数据的标签值比例和所述第一供应方在层级大于等于2的待评估数据的平均准确率，确定所述第一供应方在层级0和层级1的待评估数据的准确率包括：

分别根据所述层级大于等于2的待评估数据的标签值比例与层级0的待评估数据的标签值比例以及层级1的待评估数据的标签值比例的差值确定层级0标签值偏差度和层级1标签值偏差度；

分别根据所述层级0标签值偏差度和层级1标签值偏差度以及预设线性参数计算层级0修正值和层级1修正值；

分别根据所述平均准确率以及层级0修正值和层级1修正值的差值确定所述第一供应方在层级0和层级1待评估数据的准确率。

3.根据权利要求1所述的数据质量分析方法，其特征在于，所述按照第二供应方集合中提供相同数据的第二供应方的数量确定所述待评估数据的层级之后还包括：

对每一层级的待评估数据进行抽样，并根据预设样本总量以及每一层级的待评估数据的层总量和层方差确定每一层级的待评估数据的抽样数量。

4.根据权利要求3所述的数据质量分析方法，其特征在于，采用以下公式对每一层级的待评估数据进行抽样：

其中，n为预设样本总量，nh为层级h的待评估数据的抽样数量，Nh为层级h待评估数据的层总量，L为层总数，Sh为层级h待评估数据的方差。

5.根据权利要求3所述的数据质量分析方法，其特征在于，所述对每一层级待评估数据进行抽样包括：

确定层级0待评估数据和层级1待评估数据的抽样数量为0；

对于层级大于等于2的待评估数据，对每一层级的待评估数据抽取样本，并计算每一层级的待评估数据的层方差；

对于层级大于等于2的待评估数据，根据预设样本总量以及每一层级的待评估数据的层总量和层方差进行预分配，以确定每一层级的待评估数据的第一抽样数量；

如果存在第一抽样数量大于该层级的待评估数据的层总量，则该层级的待评估数据的最终抽样数量为该层级的待评估数据的层总量；

根据预设样本总量与已抽取的最终抽样数量之差以及每一层级的待评估数据的层总量和层方差对其余各层级的待评估数据的第一抽样数量重新预分配，直至任意层级的待评估数据的最终抽样数量小于其层总量。