[发明专利]数据质量监控方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据质量监控方法、装置、计算机设备和存储介质。所述方法包括：当数据仓库中的数据清洗完成后，根据事实表和维度表的对应关系自动生成维度监控任务；根据维度监控任务对数据进行监控并返回维度监控结果；若维度监控结果满足预设报警条件时则报警。采用本方法能够根据事实表和维度表的对应关系自动生成维度监控任务，从而不需要人工手动一个个配置监控任务，提高效率的同时避免人为出错；进而根据监控任务进行监控并返回维度监控结果，当维度监控结果满足预设报警条件时报警，以防止人为遗漏，并确保数据质量的准确性。

技术领域

本申请涉及数据监控技术领域，特别是涉及一种数据质量监控方法、装置、计算机设备和存储介质。

背景技术

随着数据库技术的发展，出现了数据仓库DW(Data Warehouse)，其是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库的数据既是数据使用的基础也是数据平台发展的前提，因而对数据仓库的数据质量不能掉以轻心。

数据质量的保障不但需要保障数据准确，同时也要保障数据时效。传统数据仓库监控数据质量时，一般从源数据同步、数据清洗等环节进行数据质量的监控。由于传统数据仓库中表的数量相对较少，因此在数据监控环节，多为人工对每一张表进行监控任务的配置。但随着大数据时代的来临，数据仓库的表都是数以万计，从而传统的人工配置已经很难满足其业务的变化和要求。

且采用人工配置监控任务，其任务量大、效率低、容易出错，而且不易于后期的维护以及管理。

发明内容

基于此，有必要针对上述技术问题，提供一种能够适用于大数据的数据质量监控方法、装置、计算机设备和存储介质。

一种数据质量监控方法，包括：

当数据仓库中的数据清洗完成后，根据事实表和维度表的对应关系自动生成维度监控任务；

根据维度监控任务对数据进行监控并返回维度监控结果；

若维度监控结果满足预设报警条件时则报警。

在其中一个实施例中，根据事实表和维度表的对应关系自动生成维度监控任务，包括：

根据事实表和维度表中对应字段的关联关系自动生成维度监控任务。

在其中一个实施例中，根据维度监控任务对数据进行监控并返回维度监控结果，包括：

根据维度监控任务确定事实表中对应字段的值是否全部包含于维度表的对应字段中；

若是，则返回不满足预设报警条件的维度监控结果，否则返回满足预设报警条件的维度监控结果。

在其中一个实施例中，还包括：

当数据仓库完成数据同步后，获取数据的属性信息；

根据数据的属性信息对数据量进行监控并返回监控结果；

若监控结果满足预设条件时则报警。

在其中一个实施例中，数据的属性信息包括数据所属的原表名，则根据数据的属性信息对数据量进行监控并返回监控结果，包括：

根据数据所属的原表名周期性对数据进行计数；

将当前计数结果与上一周期计数结果的比值作为监控结果返回。

在其中一个实施例中，所述预设条件包括预先设置的条件或默认条件。

在其中一个实施例中，所述报警包括短信报警、邮件报警。

一种数据质量监控装置，包括：

监控任务生成模块，用于当数据仓库中的数据清洗完成后，根据事实表和维度表的对应关系自动生成维度监控任务；