[发明专利]数据质量检查方法、存储介质及系统

说明书

本发明提供一种数据质量检查方法、存储介质及系统，该方法包括如下步骤：获取用户输入的数据质量检查请求；根据数据质量检查请求，从数据库中选取相应的数据，从预设的多个数据质量检查规则当中选取相应的数据质量检查规则；利用相应的数据质量检查规则对相应的数据进行初次数据质量检查，得到初次数据质量检查的结果；判断初次数据质量检查的结果是否通过，若通过则从预设的多个数据质量检查规则当中选取其他数据质量检查规则，再次对相应的数据进行数据质量检查，直至选取全部数据质量检查规则对相应的数据进行数据质量检查的结果都为通过，或直至得到数据质量检查的结果为不通过。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据质量检查方法、存储介质及系统。

背景技术

大数据采集技术，是指将数据采集存储在数据库中的技术。在数据采集过程中，需对数据进行ETL操作(Extract-Transform-Load，即抽取、转换、加载)，为确保经ETL操作后采集到数据库中的数据能保持高质量，目前通常采用数据质量检查系统对数据库中的数据进行质量检查。数据质量检查系统中通常预设有多个数据质量检查规则，例如及时性检查规则、一致性检查规则、完整性检查规则等，利用这些数据质量检查规则可对数据进行及时性、一致性、完整性等数据质量检查，然后剔除或修复数据库中检查不通过的数据，使数据库中的数据能保持高质量。

目前在数据质量检查的过程中，可按照用户输入的数据质量检查请求选取相应的数据质量检查规则对数据进行质量检查，这样需用户输入对应于全部数据质量检查规则的数据质量检查请求，才能实现对数据进行数据质量全面检查。但是，数据库中存储有多个数据，若对数据库中的全部数据都进行数据质量全面检查，则数据质量检查系统会对每个数据都利用全部数据质量检查规则逐一进行质量检查，导致系统运行负担大。

发明内容

本发明要解决的技术问题是如何兼顾数据质量全面检查和数据质量检查系统的运行负担。

为解决上述技术问题，本发明提供一种数据质量检查方法，包括如下步骤：

A.获取用户输入的数据质量检查请求；

B.根据所述数据质量检查请求，从数据库中选取相应的数据，从预设的多个数据质量检查规则当中选取相应的数据质量检查规则；

C.利用所述相应的数据质量检查规则对所述相应的数据进行初次数据质量检查，得到初次数据质量检查的结果；

D.判断所述初次数据质量检查的结果是否通过，若通过则从预设的多个数据质量检查规则当中选取其他数据质量检查规则，再次对所述相应的数据进行数据质量检查，直至选取全部数据质量检查规则对所述相应的数据进行数据质量检查的结果都为通过，或直至得到数据质量检查的结果为不通过。

优选地，所述步骤D中，若判断出所述初次数据质量检查的结果不通过，则不再对所述相应的数据进行数据质量检查。

优选地，所述步骤D中，所述其他数据质量检查规则，是未利用其对所述相应的数据进行数据质量检查的数据质量检查规则。

优选地，还包括步骤F.同步输出所有数据质量检查的结果。

优选地，所述初次数据质量检查的结果包括通过或不通过。

优选地，所述预设的多个数据质量检查规则包括及时性检查规则、一致性检查规则和完整性检查规则当中的至少两个。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据质量检查方法中的步骤。

本发明还提供一种数据质量检查系统，包括相互通信连接的服务器和终端设备，所述服务器包括相互连接的计算机可读存储介质和处理器，计算机可读存储介质如上所述。

优选地，所述步骤A中，利用所述终端设备获取用户输入的数据质量检查请求。