[发明专利]基于数据质量体系的数据质量验证监控及预警方法和系统

说明书

本发明公开了一种基于数据质量体系的数据质量验证监控及预警方法和系统，涉及计算机技术领域，方法包括步骤：同步源数据至数据仓库并设置预警阈值，当源数据在预警阈值内时，对源数据进行标准化处理得到标准化源数据，对标准化源数据进行元数据管理得到第一数据，根据数据质量体系规则对第一数据进行处理得到第二数据，生成可视化预警报表，对第二数据进行可视化，突出显示异常的数据库表。本发明能够在建立数据仓库过程中监控数据质量，提高数据的易读性和准确性。

技术领域

本发明涉及计算机领域，更具体地，涉及一种基于数据质量体系的数据质量验证监控及预警方法和系统。

背景技术

大数据时代的到来，带给企业很多的数据资产，企业需要在众多数据中找到真正的有效数据来进行分析和数据挖掘。

目前现有技术主要存在以下问题：

1、由于企业数据来自不同的业务系统，上游数据源数据出现异常，例如爬虫数据出现结构变化，爬虫失败等导致下游数据错误；

2、在建立数据仓库中元数据缺乏有效管理，导致数据的易读性很差，不能最大能力发挥元数据的功能性；

3、数据表中数据质量存在问题，主要突出表现在以下几种：

1)数据缺乏有效的主键，导致数据出现重复；

2)数据不符合标准数据类型；

3)数据不符合标准数据业务规则；

4)数据表主要指标异常；

4、企业没有有效的对数据仓库进行有效的监控和预警，数据开发人员不能快速的了解目前数据的情况，数据异常得不到及时通知，引起下游相关引用该数据出现问题，给数据分析和决策人员带来错误的指导。

有鉴于此，克服该现有技术所存在的缺陷是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于数据质量体系的数据质量验证监控及预警方法和系统，用以在建立数据仓库过程中监控数据质量，提高数据的易读性和准确性。

一方面，本发明提供了一种基于数据质量体系的数据质量验证监控及预警方法，包括步骤：

同步源数据至数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；

对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第一数据；

根据数据质量体系规则对所述第一数据进行处理得到第二数据，包括：

获取所述第一数据的数据类型和/或属性；

根据所述第一数据的数据类型和/或属性配置检测规则组合，其中所述配置检测规则组合至少包括一个检测规则；

根据所述规则组合对所述第一数据进行质量检测得到第二数据发送至目的端；

生成可视化预警报表，对所述第二数据进行可视化，突出显示异常的数据库表。

另一方面，本发明提供了一种基于数据质量体系的数据质量验证监控及预警系统，包括源数据标准化处理模块、数据仓库元数据管理模块、数据质量体系规则验证模块、以及可视化预警报表生成模块，其中，

所述源数据标准化处理模块与所述数据仓库元数据管理模块相耦接，用于将同步到数据仓库中的源数据进行标准化处理得到标准化源数据，并将所述标准化源数据发送至所述数据仓库元数据管理模块；