[发明专利]一种数据质量检测方法及装置

摘要

本发明公开了一种数据质量检测方法及装置，所述方法包括：针对待检测数据集合中的每个检测字段，根据检测字段预先设置的每个属性值区间，及待检测数据集合中每个数据的检测字段的属性值，确定属性值位于检测字段的每个属性值区间的数据的第一数量；根据每个属性值区间对应数据的第一数量与待检测数据集合中数据的第一总数量的比值，确定每个属性值区间对应的当前占比；并根据每个属性值区间对应的当前占比与保存的属性值区间对应的历史占比，确定的每个属性值区间对应的子波动值的和，确定检测字段的波动值，并在波动值小于设定的波动阈值时，确定待检测数据集合在检测字段的质量达标。用以提供一种从数据的稳定性出发，确定数据质量的方案。

主权项

1.一种数据质量检测方法，其特征在于，所述方法包括：针对待检测数据集合中的每个检测字段，根据所述检测字段预先设置的每个属性值区间，及所述待检测数据集合中每个数据的所述检测字段对应的属性值，确定属性值位于所述检测字段的每个属性值区间的数据的第一数量；针对待检测数据集合中的每个检测字段，根据所述检测字段的每个属性值区间对应数据的第一数量与所述待检测数据集合中数据的第一总数量的比值，确定所述检测字段的每个属性值区间对应的当前占比；并针对所述检测字段的每个属性值区间，根据所述属性值区间对应的当前占比与保存的所述属性值区间对应的历史占比，确定所述属性值区间对应的子波动值；针对待检测数据集合中的每个检测字段，根据所述检测字段的每个属性值区间对应的子波动值的和，确定所述检测字段的波动值，并判断所述检测字段的波动值是否小于设定的波动阈值；如果是，确定所述待检测数据集合在所述检测字段的质量达标。