[发明专利]数据集的处理方法、装置、设备和存储介质

说明书

本申请涉及数据质量评估技术领域，提供了一种数据集的处理方法、装置、计算机设备和存储介质。本申请主要从数据元、行数据和数据集三个维度进行数据质量的评估，数据质量由数据集的质量决定，数据集的质量由多条行数据的质量决定，行数据的质量由数据元决定。本申请从时效性和唯一性对数据行进行质量评估，从正确性、精确性和完整性对数据元进行质量评估，根据数据元评估每条数据行的质量，根据每条数据行的质量而评估数据集的质量情况。

技术领域

本申请涉及数据质量评估技术领域，特别是涉及一种数据集的处理方法、装置、计算机设备和存储介质。

背景技术

随着业务系统的成熟应用和移动终端的普及，数据出现了大规模增长；与此同时，大数据的应用也逐渐成熟起来，而大数据的应用需要以数据为基础，数据的质量好坏将会影响着大数据的应用效果，因此数据的质量评估也越来越重要。然而目前的数据质量评价主要从数据的某一方面进行评价，无法综合全面地评价数据质量。

发明内容

基于此，有必要针对上述技术问题，提供一种数据集的处理方法、装置、计算机设备和存储介质。

一种数据集的处理方法，数据集包括多条数据行，各条数据行包括多个数据字段；所述方法包括：

获取所述多条数据行中的任一条数据行；

根据所述任一条数据行在所述多条数据行中的唯一性，得到所述任一条数据行对应的唯一性评估值；

根据所述任一条数据行的产生时间与使用时间的比对，得到所述任一条数据行对应的时效性评估值；

判断所述任一条数据行中各数据字段的数值是否符合设定的正确数值，得到所述任一条数据行对应的正确性评估值；

根据所述任一条数据行中各数据字段的字段值与设定的精确字段值之间的偏差程度，得到所述任一条数据行对应的精确性评估值；

判断所述任一条数据行中各数据字段的数值是否为空，得到所述任一条数据行对应的完整性评估值；

获取所述任一条数据行对应的时效性评估值、正确性评估值、精确性评估值和完整性评估值之间的平均值，确定所述平均值与所述任一条数据行对应的唯一性评估值的乘积值，将所述乘积值作为所述任一条数据行的评估值；

基于所述各条数据行的评估值，确定所述数据集的评估值。

一种数据集的处理装置，数据集包括多条数据行，各条数据行包括多个数据字段；所述装置包括：

数据行获取模块，用于获取所述多条数据行中的任一条数据行；

唯一性评估模块，用于根据所述任一条数据行在所述多条数据行中的唯一性，得到对应的唯一性评估值；

时效性评估模块，用于根据所述任一条数据行的产生时间与使用时间的比对，得到对应的时效性评估值；

正确性评估模块，用于判断所述任一条数据行中各数据字段的数值是否符合设定的正确数值，得到对应的正确性评估值；

精确性评估模块，用于根据所述任一条数据行中各数据字段的字段值与设定的精确字段值之间的偏差程度，得到对应的精确性评估值；

完整性评估模块，用于判断所述任一条数据行中各数据字段的数值是否为空，得到对应的完整性评估值；

数据行评估模块，用于获取所述任一条数据行对应的时效性评估值、正确性评估值、精确性评估值和完整性评估值之间的平均值，确定所述任一条数据行对应的唯一性评估值与所述平均值的乘积值，将所述乘积值作为所述任一条数据行的评估值；

数据集评估模块，用于基于所述各条数据行的评估值，确定所述数据集的评估值。