[发明专利]一种数据质量的检测方法、装置、电子设备及存储介质

说明书

本申请公开了一种数据质量的检测方法、装置、电子设备及存储介质，属于大数据领域，用以提升数据质量检测的效率，所述方法包括：按照预设的采样比例，从待检测数据集中采样得到目标数据集，其中，所述目标数据集中，每个目标数据包括至少一个字段，每个所述字段对应至少一个目标字段数据；根据每个所述字段所对应的目标字段数据中的异常数据的数量，确定每个所述字段所对应的数据异常率；根据至少一个所述字段对应的数据异常率，确定所述待检测数据集的数据质量。

技术领域

本申请属于大数据领域，具体涉及一种数据质量的检测方法、装置、电子设备及存储介质。

背景技术

现有的数据质量检测系统采用全量数据采集的方式，将待监控的数据从数据仓库等结构化数据源中采集至数据质量检测系统，现有的数据质量检测系统依托于Hadoop生态的计算引擎对数据质量检测系统中的数据进行处理计算，并将提供一个作为监控数据存储平台的存储系统，存储从结构化数据源中获取的全量数据。

但是，上述的数据质量检测系统采用全量数据采集的方式，在数据采集、数据存储和数据计算时占用了大量的配置资源，使得在数据质量检测的过程中存在系统负荷过大的问题。

发明内容

本申请实施例提供一种数据质量的检测方法、装置、电子设备及存储介质，能够解决数据质量检测的过程中系统负荷过大的问题。

第一方面，本申请实施例提供了一种数据质量的检测方法，该方法包括：按照预设的采样比例，从待检测数据集中采样得到目标数据集，其中，所述目标数据集中，每个目标数据包括至少一个字段，每个所述字段对应至少一个目标字段数据；根据每个所述字段所对应的目标字段数据中的异常数据的数量，确定每个所述字段所对应的数据异常率；根据至少一个所述字段对应的数据异常率，确定所述待检测数据集的数据质量。

第二方面，本申请实施例提供了一种数据质量的检测装置，该装置包括：采样模块，用于按照预设的采样比例，从待检测数据集中采样得到目标数据集，其中，所述目标数据集中，每个目标数据包括至少一个字段，每个所述字段对应至少一个目标字段数据；第一确定模块，用于根据每个所述字段所对应的目标字段数据中的异常数据的数量，确定每个所述字段所对应的数据异常率；第二确定模块，用于根据至少一个所述字段对应的数据异常率，确定所述待检测数据集的数据质量。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

在本申请实施例中，通过按照预设的采样比例，从待检测数据集中采样得到目标数据集，其中，目标数据集中，每个目标数据包括至少一个字段，每个字段对应至少一个目标字段数据；根据每个字段所对应的目标字段数据中的异常数据的数量，确定每个字段所对应的数据异常率；根据至少一个字段对应的数据异常率，确定待检测数据集的数据质量，这样，通过采样的方式从待检测数据集中获取目标数据集，并能够根据采样得到的目标数据集中每个目标数据所对应的字段的数据异常率计算出待检测数据集的数据质量，避免了采集全量数据进行数据质量检测所带来的存储资源紧张、系统负荷过大等问题，节省了资源，大大减轻了数据检测系统进行数据质量检测的压力，提升了系统部署运维、日常数据质量检测的效率。

附图说明

图1是本申请实施例提供的一种数据质量的检测方法的流程示意图；

图2是本申请实施例提供的一种数据质量的检测装置的结构示意图；

图3是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式