[发明专利]一种数据质量的检测方法、装置、电子设备及存储介质

权利要求书

1.一种数据质量的检测方法，其特征在于，包括：

按照预设的采样比例，从待检测数据集中采样得到目标数据集，其中，所述目标数据集中，每个目标数据包括至少一个字段，每个所述字段对应至少一个目标字段数据；

根据每个所述字段所对应的目标字段数据中的异常数据的数量，确定每个所述字段所对应的数据异常率；

根据至少一个所述字段对应的数据异常率，确定所述待检测数据集的数据质量。

2.根据权利要求1所述的检测方法，其特征在于，所述按照预设的采样比例，从待检测数据集中采样得到目标数据集，包括：

将所述待检测数据集映射为数据表形式的结构化数据，其中，所述结构化数据以行为单位，各行数据包括的字段相同；

按照所述预设的采样比例对所述数据表形式的结构化数据进行采样，以得到所述目标数据集。

3.根据权利要求1所述的检测方法，其特征在于，在所述根据每个所述字段所对应的目标字段数据中的异常数据的数量，确定每个所述字段所对应的数据异常率之前，还包括：

针对每个所述字段，将每个所述字段所对应的至少一个目标字段数据中符合预设的异常数据规则的目标字段数据确定为异常数据；

确定每个所述字段所对应的异常数据的数量。

4.根据权利要求1所述的检测方法，其特征在于，所述根据至少一个所述字段对应的数据异常率，确定所述待检测数据集的数据质量，包括：

根据至少一个所述字段所对应的数据异常率和/或预设的数据质量评分规则，确定所述待检测数据集的数据质量。

5.根据权利要求1所述的检测方法，其特征在于，所述方法还包括：

将每个所述字段所对应的数据异常率和所述待检测数据集的数据质量发送至预设的数据管理系统进行显示；和/或，

将每个所述字段所对应的数据异常率和所述待检测数据集的数据质量发送至预设的关系型数据库进行存储。

6.一种数据质量的检测装置，其特征在于，包括：

采样模块，用于按照预设的采样比例，从待检测数据集中采样得到目标数据集，其中，所述目标数据集中，每个目标数据包括至少一个字段，每个所述字段对应至少一个目标字段数据；

第一确定模块，用于根据每个所述字段所对应的目标字段数据中的异常数据的数量，确定每个所述字段所对应的数据异常率；

第二确定模块，用于根据至少一个所述字段对应的数据异常率，确定所述待检测数据集的数据质量。

7.根据权利要求6所述的装置，其特征在于，所述采样模块，用于：

将所述待检测数据集映射为数据表形式的结构化数据，其中，所述结构化数据以行为单位，各行数据包括的字段相同；

按照所述预设的采样比例对所述数据表形式的结构化数据进行采样，以得到所述目标数据集。

8.根据权利要求6所述的装置，其特征在于，所述第一确定模块，还用于：

针对每个所述字段，将每个所述字段所对应的至少一个目标字段数据中符合预设的异常数据规则的目标字段数据确定为异常数据；

确定每个所述字段所对应的异常数据的数量。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的数据质量的检测方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的数据质量的检测方法的步骤。