[发明专利]基于数据质量体系的数据质量验证监控及预警方法和系统

权利要求书

1.一种基于数据质量体系的数据质量验证监控及预警方法，其特征在于，包括步骤：

同步源数据至数据仓库并设置预警阈值，当所述源数据在所述预警阈值内时，对所述源数据进行标准化处理得到标准化源数据；

对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第一数据；

根据数据质量体系规则对所述第一数据进行处理得到第二数据，包括：

获取所述第一数据的数据类型和/或属性；

根据所述第一数据的数据类型和/或属性配置检测规则组合，其中所述配置检测规则组合至少包括一个检测规则；

根据所述规则组合对所述第一数据进行质量检测得到第二数据发送至目的端；

生成可视化预警报表，对所述第二数据进行可视化，突出显示异常的数据库表。

2.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，所述检测规则组合用于检测所述第一数据的完整性、一致性、准确性和及时性，其中，

所述完整性是检查所述第一数据的记录和信息是否完整，是否存在缺失的情况；

所述一致性是检查所述第一数据的记录是否符合规范，是否与先后及其它数据集保持统一；

所述准确性是检查所述第一数据是否准确，是否存在异常或错误信息；

所述及时性是检查所述第一数据从产生到可以查看的时间间隔。

3.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，所述检测规则组合包括：主键检查、代码标准检查和业务规则检查。

4.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，还包括设定所述数据质量体系规则验证的自动执行频率，所述自动执行频率包括日执行、周执行、和/或月执行。

5.根据权利要求1所述的基于数据质量体系的数据质量验证监控及预警方法，其特征在于，还包括在配置表中设置人员管理，将所述可视化预警报表中的异常的数据库表发送至所述人员。

6.一种基于数据质量体系的数据质量验证监控及预警系统，其特征在于，包括源数据标准化处理模块、数据仓库元数据管理模块、数据质量体系规则验证模块、以及可视化预警报表生成模块，其中，

所述源数据标准化处理模块与所述数据仓库元数据管理模块相耦接，用于将同步到数据仓库中的源数据进行标准化处理得到标准化源数据，并将所述标准化源数据发送至所述数据仓库元数据管理模块；

所述数据仓库元数据管理模块分别与所述源数据标准化处理模块和所述数据质量体系规则验证模块相耦接，用于对所述标准化源数据进行元数据管理，通过元数据将海量报表中的目标表、目标字段进行业务描述得到第一数据；

所述数据质量体系规则验证模块分别与所述数据仓库元数据管理模块和所述可视化预警报表生成模块相耦接，用于根据数据质量体系规则对所述第一数据进行处理得到第二数据，包括：

获取所述第一数据的数据类型和/或属性；

根据所述第一数据的数据类型和/或属性配置检测规则组合，其中所述配置检测规则组合至少包括一个检测规则；

根据所述规则组合对所述第一数据进行质量检测得到第二数据发送至目的端；

所述可视化预警报表生成模块与所述数据质量体系规则验证模块相耦接，对所述第二数据进行可视化，突出显示异常的数据库表。

7.根据权利要求6所述的基于数据质量体系的数据质量验证监控及预警系统，其特征在于，所述检测规则组合用于检测所述第一数据的完整性、一致性、准确性和及时性，其中，

所述完整性是检查所述第一数据的记录和信息是否完整，是否存在缺失的情况；

所述一致性是检查所述第一数据的记录是否符合规范，是否与先后及其它数据集保持统一；

所述准确性是检查所述第一数据是否准确，是否存在异常或错误信息；

所述及时性是检查所述第一数据从产生到可以查看的时间间隔。