[发明专利]数据集质量评估方法、装置、计算机设备及存储介质

权利要求书

1.一种数据集质量评估方法，其特征在于，包括：

获取数据集中的待评估数据；

分别统计所述待评估数据在数据规模、数据均衡性、数据准确性、数据污染、数据偏见评估维度下的属性特征；

基于所述属性特征，对所述待评估数据进行质量评估，得到所述待评估数据分别在所述数据规模、数据均衡性、数据准确性、数据污染、数据偏见评估维度下的质量评估结果；

其中，所述待评估数据为训练数据集中的结构化数据，统计所述待评估数据在数据污染评估维度下的属性特征，包括：

根据所述结构化数据及其对应的标签类别，利用预设插值算法拟合所述结构化数据对应的函数曲线；

利用所述函数曲线对所述结构化数据进行预测，得到所述结构化数据对应的预测标签类别；

基于所述预测标签类别和所述结构化数据对应的标签类别，判定所述结构化数据是否为噪声数据；

基于所述数据污染评估维度下的属性特征，对所述待评估数据进行质量评估，得到所述待评估数据在所述数据污染评估维度下的质量评估结果，包括：

分别统计所述噪声数据对应的第一数据量，以及结构化数据对应的第二数据量，并根据所述第一数据量和所述第二数据量，计算所述噪声数据与所述结构化数据之间的第一数据比例；

若所述第一数据比例大于预设噪声数据比例，则确定所述结构化数据不满足数据污染评估标准。

2.根据权利要求1所述的方法，其特征在于，所述待评估数据为预测数据集中的非结构化数据，统计所述待评估数据在数据污染评估维度下的属性特征，包括：

分别利用第一预设压缩器和第二预设压缩器对所述非结构化数据进行压缩处理，得到所述非结构化数据对应的第一压缩数据和第二压缩数据；

分别对所述非结构化数据、所述第一压缩数据和所述第二压缩数据进行预测，得到所述非结构化数据对应的原始预测结果，所述第一压缩数据对应的第一预测结果，以及所述第二压缩数据对应的第二预测结果；

分别计算所述原始预测结果与所述第一预测结果之间的第一差值，以及所述原始预测结果与所述第二预测结果之间的第二差值；

基于所述第一差值和所述第二差值，判定所述非结构化数据是否为对抗数据；

基于所述数据污染评估维度下的属性特征，对所述待评估数据进行质量评估，得到所述待评估数据在所述数据污染评估维度下的质量评估结果，包括：

分别统计所述对抗数据对应的第三数据量，以及所述非结构化数据对应的第四数据量，并根据所述第三数据量和所述第四数据量，计算所述对抗数据与所述非结构化数据之间的第二数据比例；

若所述第二数据比例大于预设对抗数据比例，则确定所述非结构化数据不满足数据污染评估标准。

3.根据权利要求1所述的方法，其特征在于，所述待评估数据为训练数据集中的结构化数据，统计所述待评估数据在数据偏见评估维度下的属性特征，包括：

确定所述结构化数据对应的各个特征；

利用预设偏见语料库初步检测所述各个特征中存在的偏见特征，并从所述各个特征和所述训练数据集中分别排除所述偏见特征及其对应的结构化数据，得到排除后的各个特征和排除后的结构化数据；

根据所述排除后的结构化数据，分析所述排除后的各个特征是否为偏见特征。

4.根据权利要求3所述的方法，其特征在于，所述根据所述排除后的结构化数据，分析所述排除后的各个特征是否为偏见特征，包括：

若所述排除后的结构化数据存在相应的标签类别，则将所述排除后的各个特征与各个标签类别进行组合，得到多个组合结果；

确定所述排除后的各个特征对应的特征值，并根据所述多个组合结果，分析在不同标签分类下各个特征值对应的第一数据量分布信息；

基于所述第一数据量分布信息，判定所述排除后的各个特征是否为偏见特征。