[发明专利]数据质量检测方法、装置及存储介质

说明书

本发明涉及大数据技术，提供了一种数据质量检测方法、装置及计算机可读存储介质。该方法包括：从数据源中获取至少一条待检测数据，其中，每条待检测数据包括内容数据和元数据；根据预设的匹配规则在预先建立的检测规则库中为所述每条待检测数据匹配至少一条检测规则；利用匹配的检测规则对所述待检测数据进行检测，得到数据质量检测结果。利用本发明，可以实现数据质量检测自动化，提高数据质量检测效率，降低人工和时间成本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据质量检测方法、装置及计算机可读存储介质。

背景技术

随着信息技术的发展和大数据时代的到来，数据信息朝着海量、多样化的方向发展，数据质量日益受到各企业以及政府部门的重视。其中，如何对数据质量进行灵活、准确、高效的检测是一个非常值得关注的研究方向。

目前，对于数据质量的检测，通常需要测试人员根据业务逻辑，对每个字段构造全面的测试用例，即由测试人员编写测试用例的代码和执行逻辑，并由测试人员判断执行结果中是否存在异常、是否满足业务需求。如果测试完成后涉及到对异常数据的修复，还需要在数据修复后再次人工测试回归，反复编写和执行测试用例。因为这种方式是人为参与，测试用例的覆盖率有限，所以对异常数据存在漏检的可能，由于对不同的字段以及修复后的数据需要重复执行测试用例，检测效率也难以得到保证。

发明内容

鉴于以上原因，有必要提供一种数据质量检测方法、装置及计算机可读存储介质，实现自动化的数据质量检测，提高数据质量检测的效率和通用性，减少人为因素对数据质量检测结果造成的影响。

为实现上述目的，本发明提供一种数据质量检测方法，应用于电子装置，该方法包括：

获取步骤：从数据源中获取至少一条待检测数据，其中，每条待检测数据包括内容数据和元数据；

匹配步骤：根据预设的匹配规则在预先建立的检测规则库中为所述每条待检测数据匹配至少一条检测规则；及

检测步骤：利用匹配的检测规则对所述待检测数据进行检测，得到数据质量检测结果。

优选地，所述元数据包括该条待检测数据的重要程度、默认值、时间戳、所属字段以及该字段的数据类型中的一种或多种。

优选地，该方法还包括：

将属于同一字段的待检测数据归为一个待检测数据组，为每个待检测数据组中的待检测数据统一匹配检测规则。

优选地，所述检测规则为基于MapReduce的并行化检测规则，每个检测规则包括规则名称、规则描述和预期结果。

优选地，在所述检测步骤之后，该方法还包括：

若所述数据质量检测结果为异常且数据异常率大于预设告警阈值，则以预设方式对异常问题发出警示。

本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括数据质量检测程序，该数据质量检测程序被所述处理器执行时实现如下步骤：

获取步骤：从数据源中获取至少一条待检测数据，其中，每条待检测数据包括内容数据和元数据；

匹配步骤：根据预设的匹配规则在预先建立的检测规则库中为所述每条待检测数据匹配至少一条检测规则；及

检测步骤：利用匹配的检测规则对所述待检测数据进行检测，得到数据质量检测结果。

优选地，所述元数据包括该条待检测数据的重要程度、默认值、时间戳、所属字段以及该字段的数据类型中的一种或多种。

优选地，该方法还包括：

将属于同一字段的待检测数据归为一个待检测数据组，为每个待检测数据组中的待检测数据统一匹配检测规则。