[发明专利]一种基于元数据的数据质量管理方法及系统

说明书

技术领域

本发明涉及一种数据处理方法，尤其是一种基于元数据的数据质量管理方法及系统。

背景技术

随着信息化技术的发展，产生了越来越多的数据信息，数据从计划、获取、存储、共享、维护、应用、消亡整个生命周期里可能会引发各类数据质量问题。错误的数据将会对企业的运营、决策造成严重的不良后果，因此数据质量管理已成为企业信息化建设中至关重要的环节。

目前业界缺少一种完整的数据质量管理解决方案，通常都要数据库管理员编写程序脚本来识别存在问题的数据。这种方法的优点是简单、不需部署额外的系统，缺点是不规范、可维护性差、容易出错、不能监控问题数据整改情况。还有种做法是使用规章制度来规范数据录入数据工作，这种规章制度在一定程度上能防止缺陷数据进入数据库，但操作人员的技能水平、责任感、操作失误等都会产生数据质量问题。

无论是使用程序脚本还是规章制度都不能自动地对问题数据进行识别、度量和报警。当有成千上万条数据质量规则需要校验时，这种依靠人工干预才能完成的方式已不能满足需求。

举例来说，大型企业在数据管理工作方面往往存在以下问题：

1.缺乏统一管理，各业务系统或各分子公司的数据管理方式和方法差异较大，水平参差不齐；

2.数据源不唯一，按系统边界进行数据管理，系统间数据冗余导致数据多头管理，数据一致性较差；

3.责任不明确，数据的管理、录入、使用责任没有落实到具体部门和岗位；

4.缺乏企业资源统一建模，人、财、物等企业资源数据模型不统一，导致数据整合和集成的难度较大；

5.数据标准执行不到位，已有业务系统没有全面固化和遵守数据规范，存在信息分类编码不一致、业务含义不统一的现象。

发明内容

针对以上现有技术的缺陷，本发明的目的在于提供一种完整的数据质量管理解决方案，

本发明的技术方案为：

一种基于元数据的数据质量管理方法，包括以下步骤：

1）根据数据库内数据建立统一数据模型；

2）根据建立的数据模型配置元数据；

3）通过解析元数据设置的业务特征和管理特征结果生成校验规则；

4）配置执行策略，每一执行策略绑定一个或多个校验规则；

5）按计划自动执行策略，在目标数据库中查找并存储目标数据；

6）生成报告并分发。

作为以上技术方案的一种改进，步骤3）还包括导出含有校验规则的离线包，其中的校验规则包括数据完整性校验规则和数据合规性校验规则。

作为以上技术方案的一种改进，还包括以下步骤：与上次执行策略查找到目标数据进行对比，分析并标记出本次查找到的目标数据中已经整改的数据。

本发明还提出一种基于以上方法的系统，包括：

数据模型模块，根据数据库内数据建立统一数据模型；

元数据配置模块，根据建立的数据模型配置元数据；

校验规则生成模块，通过解析元数据设置的业务特征和管理特征结果生成校验规则；

策略配置模块，配置执行策略，每一执行策略绑定一个或多个校验规则；

执行引擎，按计划自动执行策略，在目标数据库中查找并存储目标数据;

报告生模块，生成报告并分发。

作为以上技术方案的一种改进，校验规则生成模块导出含有校验规则的离线包，其中的校验规则包括数据完整性校验规则和数据合规性校验规则。

作为以上技术方案的一种改进，还包括比较标记模块，将本次查找到的目标数据与上次执行策略查找到目标数据进行对比，分析并标记出本次查找到的目标数据中已经整改的数据。

本发明的有益效果在于：

数据质量管理基于元数据进行，通过解析元数据设置的业务特征和管理特征结果，实现了数据完整性校验规则和数据合规性校验规则的自动生成。同时，系统能把校验规则导出离线包功能，支撑业务系统或主数据管理系统的数据质量管理需求；此外，系统支持数据质量校验规则的自动以及校验报告的自动生成，以自动化手段全面支撑数据质量管理的事前防范事中检查以及事后评价。

附图说明

以下结合附图和实施例对本发明作进一步说明，其中：

图1为本发明的流程示意图。

具体实施方式

在此作为示范的优选实施例中，以电网营销系统为例说明整个流程。为了简化业务逻辑，该例子只选取“合同”对象做说明。