[发明专利]数据质量问题分级处理方法、存储介质及系统

说明书

本发明提供一种数据质量问题分级处理方法、存储介质及系统，该方法包括如下步骤：获取存储在数据库中的多个数据；获取预设的多个不同的数据质量检查规则；对获取到的每个数据，利用多个不同的数据质量检查规则进行多次数据质量检查，得到多个数据质量检查结果；对各个数据质量检查结果分别赋予不同的权重系数；获取各个数据的多个数据质量检查结果当中的不通过结果，对各个数据，将其不通过结果所对应的数据质量检查规则的权重系数进行加权计算，得到加权得分；根据加权得分定义各个数据的质量问题级别；根据各个数据的质量问题级别，对多个数据进行优先级排序；按照各个数据的优先级排序名次，依次对各个数据执行质量问题处理任务。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据质量问题分级处理方法、存储介质及系统。

背景技术

大数据采集技术，是指将数据采集存储在数据库中的技术。在数据采集过程中，需对数据进行ETL操作(Extract-Transform-Load，即抽取、转换、加载)以对运行数据进行清洗处理，为确保经ETL操作后采集到数据库中的数据能保持高质量，目前通常采用数据质量检查系统对数据库中的数据进行质量检查。数据质量检查系统中通常预设有多个数据质量检查规则，例如及时性检查规则、一致性检查规则、完整性检查规则等，利用这些数据质量检查规则可对数据进行及时性、一致性、完整性等数据质量检查，然后执行质量问题处理任务以修复数据库中检查不通过的数据(质量问题处理任务例如是对数据进行删除、替换或填充的数据质量修复任务)，使数据库中的数据能保持高质量。

在有数据出现较多质量问题的情况下，如果该数据被其他系统提取使用，就可能会造成较为严重的错误影响，因此需要对出现较多质量问题的数据及时进行修复。但是，如果数据库中出现质量问题的数据较多，数据整体修复耗时就会比较久，因此难以及时对出现多个质量问题的数据进行修复。

发明内容

本发明要解决的技术问题是如何及时对数据库中出现较多质量问题的数据进行修复。

为解决上述技术问题，本发明提供一种数据质量问题分级处理方法，包括如下步骤：

A.获取存储在数据库中的多个数据；

B.获取预设的多个不同的数据质量检查规则；

C.对获取到的每个数据，利用所述多个不同的数据质量检查规则进行多次数据质量检查，得到多个数据质量检查结果；

D.按照数据质量检查规则的不同类型，对各个数据质量检查结果分别赋予不同的权重系数；

E.获取各个数据的多个数据质量检查结果当中的不通过结果；

F.对各个数据，将其不通过结果所对应的数据质量检查规则的权重系数进行加权计算，得到加权得分；

G.根据所述加权得分定义各个数据的质量问题级别；

H.根据各个数据的质量问题级别，对所述多个数据进行优先级排序；

I.按照各个数据的优先级排序名次，依次对各个数据执行质量问题处理任务。

优选地，所述步骤G中，某个数据的加权得分越高，该数据的质量问题级别越高。

优选地，所述步骤H中，某个数据的质量问题级别越高，该数据的优先级排序名次越靠前。

优选地，所述步骤I具体地：按照各个数据的优先级排序名次，由前至后对各个数据执行质量问题处理任务。

优选地，所述质量问题处理任务具体是对数据进行删除、替换或填充。

优选地，所述预设的多个不同的数据质量检查规则包括及时性检查规则、一致性检查规则和完整性检查规则当中的至少两个。