[发明专利]一种数据质量检测方法及装置

权利要求书

1.一种数据质量检测方法，其特征在于，所述方法包括：

针对待检测数据集合中的每个检测字段，根据所述检测字段预先设置的每个属性值区间，及所述待检测数据集合中每个数据的所述检测字段对应的属性值，确定属性值位于所述检测字段的每个属性值区间的数据的第一数量；

针对待检测数据集合中的每个检测字段，根据所述检测字段的每个属性值区间对应数据的第一数量与所述待检测数据集合中数据的第一总数量的比值，确定所述检测字段的每个属性值区间对应的当前占比；并针对所述检测字段的每个属性值区间，根据所述属性值区间对应的当前占比与保存的所述属性值区间对应的历史占比，确定所述属性值区间对应的子波动值；

针对待检测数据集合中的每个检测字段，根据所述检测字段的每个属性值区间对应的子波动值的和，确定所述检测字段的波动值，并判断所述检测字段的波动值是否小于设定的波动阈值；如果是，确定所述待检测数据集合在所述检测字段的质量达标；

其中，所述根据所述属性值区间对应的当前占比与所述属性值区间对应的历史占比，确定所述属性值区间对应的子波动值包括：

根据S＝(X-Y)*ln(X/Y)确定属性值区间对应的子波动值，其中S为属性值区间对应的子波动值，X为属性值区间对应的当前占比，Y为属性值区间对应的历史占比。

2.如权利要求1所述的方法，其特征在于，针对所述检测字段预先设置每个属性值区间的过程包括：

识别所述检测字段是否为分类型字段；

如果是，将所述检测字段对应的每个分类类别作为一个属性值区间；

如果否，对所述检测字段对应的取值范围进行等宽分箱，将每个分箱对应的子取值范围作为一个属性值区间，其中，分箱的数量为至少两个。

3.如权利要求1所述的方法，其特征在于，确定所述检测字段的每个属性值区间对应的历史占比包括：

根据预设的抽样比例，从历史数据集合中抽取所述抽样比例的样本数据生成历史样本数据集合；并根据所述历史样本数据集合中每个样本数据的所述检测字段对应的属性值，确定属性值位于所述检测字段的每个属性值区间的样本数据的第二数量；

针对所述检测字段的每个属性值区间，根据所述属性值区间对应样本数据的第二数量与所述历史样本数据集合中样本数据的第二总数量的比值，确定所述属性值区间对应的历史占比。

4.如权利要求1所述的方法，其特征在于，如果所述检测字段的波动值不小于设定的波动阈值，所述方法还包括：

将所述待检测数据集合的所述检测字段标记为不达标，并发出告警信息。

5.一种数据质量检测装置，其特征在于，所述装置包括：

第一确定模块，用于针对待检测数据集合中的每个检测字段，根据所述检测字段预先设置的每个属性值区间，及所述待检测数据集合中每个数据的所述检测字段对应的属性值，确定属性值位于所述检测字段的每个属性值区间的数据的第一数量；

第二确定模块，用于针对待检测数据集合中的每个检测字段，根据所述检测字段的每个属性值区间对应数据的第一数量与所述待检测数据集合中数据的第一总数量的比值，确定所述检测字段的每个属性值区间对应的当前占比；并针对所述检测字段的每个属性值区间，根据所述属性值区间对应的当前占比与保存的所述属性值区间对应的历史占比，确定所述属性值区间对应的子波动值；

检测模块，用于针对待检测数据集合中的每个检测字段，根据所述检测字段的每个属性值区间对应的子波动值的和，确定所述检测字段的波动值，并判断所述检测字段的波动值是否小于设定的波动阈值；如果是，确定所述待检测数据集合在所述检测字段的质量达标；

其中，所述第二确定模块，具体用于根据S＝(X-Y)*ln(X/Y)确定属性值区间对应的子波动值，其中S为属性值区间对应的子波动值，X为属性值区间对应的当前占比，Y为属性值区间对应的历史占比。

6.如权利要求5所述的装置，其特征在于，所述装置还包括：

识别配置模块，用于识别所述检测字段是否为分类型字段；如果是，将所述检测字段对应的每个分类类别作为一个属性值区间；如果否，对所述检测字段对应的取值范围进行等宽分箱，将每个分箱对应的子取值范围作为一个属性值区间，其中，分箱的数量为至少两个。