[发明专利]数据质量监控方法、装置、电子设备、存储介质

说明书

本发明提供一种数据质量监控方法、装置、电子设备、存储介质。数据质量监控方法包括：基于采集项的配置信息生成采集项实例；基于采集项的配置信息执行采集脚本以采集数据质量信息，并将所述采集脚本的采集结果写入所述采集项实例；基于至少一校验字段自同一采集项的多个采集项实例中匹配历史采集项实例；判断当前写入的所述采集项实例及所述历史采集项实例是否符合预设校验规则；若不符合，则基于预设报警规则，进行报警。本发明提供的方法及装置实现数据质量的自动校验和自动报警，无需人力参与，可扩展性强、校验准确性高且报警及时。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种数据质量监控方法、装置、电子设备、存储介质。

背景技术

随着大数据时代的到来，数据的价值日益凸显，因此各平台也日渐依赖着越来越多的数据进行更精细化的运行。但仅有数据是不够的，如果不关注数据质量，对数据的依赖越深，造成的损失越大。如果有一种专业的数据质量校验平台，可以对例行按任务产出的数据或持续产生的数据进行校验，那关注数据质量的业务只需简单配置一下即可实现对数据质量进行多方面的监控，可以及时发现问题，防止有问题的数据造成更大的决策问题。

目前未有成熟的全套解决方案，很多机构不对数据质量进行监控，仅在使用中发现问题时开始排查。关注数据质量的机构一般是在数据生产完成之后进行人工检查或程序化的自我校验。

人工检查的最大缺点是人力成本过大，可扩展性差、可能出现人为失误，最重要的是可能漏掉很多质量问题。单个程序自我校验数据的方式虽较人工检查优化很多，但检查方法只针对单一种数据，检查方法不方便为其它数据共享。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明为了克服上述相关技术存在的缺陷，提供一种数据质量监控方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本发明的一个方面，提供一种数据质量监控方法，包括：

基于采集项的配置信息生成采集项实例；

基于采集项的配置信息执行采集脚本以采集数据质量信息，并将所述采集脚本的采集结果写入所述采集项实例；

基于至少一校验字段自同一采集项的多个采集项实例中匹配历史采集项实例；

判断当前写入的所述采集项实例及所述历史采集项实例是否符合预设校验规则；

若不符合，则基于预设报警规则，进行报警。

在本发明的一些实施例中，所述采集项的配置信息至少包括一个或多个触发字段及其预设值，当该一个或多个触发字段到达所述预设值时，触发所述基于采集项的配置信息执行采集脚本，并将所述采集脚本的采集结果写入所述采集项实例的执行。

在本发明的一些实施例中，所述基于采集项的配置信息执行采集脚本，并将所述采集脚本的采集结果写入所述采集项实例之后还包括：

将所述采集项实例存入数据库，以供所述至少一校验字段进行匹配。

在本发明的一些实施例中，所述判断当前写入的所述采集项实例及所述历史采集项实例是否符合预设校验规则包括：

判断当前写入的所述采集项实例及所述历史采集项实例是否符合多个预设校验规则，

其中，所述预设报警规则包括合并同一采集项实例的校验结果。

在本发明的一些实施例中，所述至少一校验字段为数值型字段。

在本发明的一些实施例中，所述基于采集项的配置信息执行采集脚本，并将所述采集脚本的采集结果写入所述采集项实例包括：