[发明专利]数据质量检测方法、装置及存储介质

权利要求书

1.一种数据质量检测方法，应用于电子装置，其特征在于，该方法包括：

获取步骤：从数据源中获取至少一条待检测数据，其中，每条待检测数据包括内容数据和元数据；

匹配步骤：根据预设的匹配规则在预先建立的检测规则库中为所述每条待检测数据匹配至少一条检测规则；及

检测步骤：利用匹配的检测规则对所述待检测数据进行检测，得到数据质量检测结果。

2.如权利要求1所述的数据质量检测方法，其特征在于，所述元数据包括该条待检测数据的重要程度、默认值、时间戳、所属字段以及该字段的数据类型中的一种或多种。

3.如权利要求2所述的数据质量检测方法，其特征在于，该方法还包括：

将属于同一字段的待检测数据归为一个待检测数据组，为每个待检测数据组中的待检测数据统一匹配检测规则。

4.如权利要求1所述的数据质量检测方法，其特征在于，所述检测规则为基于MapReduce的并行化检测规则，每个检测规则包括规则名称、规则描述和预期结果。

5.如权利要求1所述的数据质量检测方法，其特征在于，所述检测步骤还包括：

若所述数据质量检测结果为异常且数据异常率大于预设告警阈值，则以预设方式对异常问题发出警示。

6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中包括数据质量检测程序，该数据质量检测程序被所述处理器执行时实现如下步骤：

获取步骤：从数据源中获取至少一条待检测数据，其中，每条待检测数据包括内容数据和元数据；

匹配步骤：根据预设的匹配规则在预先建立的检测规则库中为所述每条待检测数据匹配至少一条检测规则；及

检测步骤：利用匹配的检测规则对所述待检测数据进行检测，得到数据质量检测结果。

7.如权利要求6所述的电子装置，其特征在于，所述元数据包括该条待检测数据的重要程度、默认值、时间戳、所属字段以及该字段的数据类型中的一种或多种。

8.如权利要求6所述的电子装置，其特征在于，所述数据质量检测程序被所述处理器执行时还实现如下步骤：

将属于同一字段的待检测数据归为一个待检测数据组，为每个待检测数据组中的待检测数据统一匹配检测规则。

9.如权利要求6至8中任意一项所述的电子装置，其特征在于，所述检测规则为基于MapReduce的并行化检测规则，每个检测规则包括规则名称、规则描述和预期结果。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括数据质量检测程序，该数据质量检测程序被处理器执行时实现如权利要求1至5中任意一项所述的数据质量检测方法的步骤。