[发明专利]一种数据质量检测方法、装置、存储介质和设备

权利要求书

1.一种数据质量检测方法，其特征在于，包括：

获取用户输入的待质检数据集，以及质检规则集合；所述质检规则集合包括与所述待质检数据集中的每列待质检数据对应的质检规则子集；所述质检规则子集包括一个或多个质检规则；所述质检规则用于检测所述待质检数据的异常，以及为所述异常设置对应的度量指标；

基于与每列待质检数据对应的质检规则，生成各列所述待质检数据的质检任务；

执行各个所述质检任务，得到各列所述待质检数据的质检结果；所述质检结果包括所述待质检数据所存在的各类异常，以及与每类异常对应的度量指标的取值；

对于每列所述待质检数据，分别对与每类异常对应的度量指标的取值进行归一化，得到所述待质检数据中各类异常的标量，并按照各类异常的预设权重，对各类异常的标量进行加权求和，得到所述待质检数据的异常评分；

依据下游作业对异常的敏感度、所述异常评分以及质量等级的预设对应关系，标识各列所述待质检数据的质量等级。

2.根据权利要求1所述的方法，其特征在于，所述基于与每列待质检数据对应的质检规则，生成各列所述待质检数据的质检任务，包括：

将与每列待质检数据对应的质检规则，作为与每列待质检数据对应的质检任务的入参，生成与每列所述待质检数据对应的质检任务的配置文件；

对各个所述配置文件进行实例化，得到各列所述待质检数据的质检任务。

3.根据权利要求1所述的方法，其特征在于，还包括：

对各列所述待质检数据的异常评分进行累加求和，得到所述待质检数据集的总异常评分；

依据所述下游作业对异常的敏感度、所述总异常评分以及质量等级的预设对应关系，标识所述待质检数据集的质量等级。

4.根据权利要求1所述的方法，其特征在于，还包括：

对于每列所述待质检数据，在所述待质检数据中任意一类异常的标量，大于第一预设阈值的情况下，标识所述待质检数据的质检状态为错误；

在所述待质检数据中任意一类异常的标量，大于第二预设阈值，且各类异常的标量均小于所述第一预设阈值的情况下，标识所述待质检数据的质检状态为警告；

在所述待质检数据中各类异常的标量，均等于所述第二预设阈值的情况下，标识所述待质检数据的质检状态为正常；

在所述待质检数据的质检状态为错误以及警告的情况下，向所述用户发送告警提示。

5.根据权利要求1所述的方法，其特征在于，还包括：

对于每列所述待质检数据，从所述待质检数据中提取各类异常数据，并对与每列待质检数据对应的各类异常数据，进行分类留存。

6.根据权利要求1所述的方法，其特征在于，还包括：

将质检信息加载至预先配置的报告模板中，生成所述待质检数据集在各个预设时间周期内的数据质检报告；所述质检信息包括各个预设时间周期内各列所述待质检数据的质检结果和质量等级，以及所述待质检数据集的质量等级；所述待质检数据集的质量等级，基于下游作业对异常的敏感度、总异常评分以及质量等级的预设对应关系所确定；所述总异常评分通过对各列所述待质检数据的异常评分进行累加求和得到。

7.根据权利要求6所述的方法，其特征在于，还包括：

对各个所述预设时间周期内的数据质检报告进行汇总，得到所述待质检数据集的历史数据质量趋势；所述历史数据质量趋势包括每列所述待质检数据中各类异常的标量变化趋势，每列所述待质检数据的质量等级变化趋势，以及所述待质检数据集的质量等级变化趋势。