[发明专利]一种数据质量闭环控制方法

说明书

本发明公开了一种数据质量闭环管理方法，包括制定数据质量监控检核方案，对数据质量监控检核；制定数据质量规则库；按照数据质量规则库定时执行数据质量管控，得到数据质量问题；对数据质量问题管理；对数据质量评估；在此闭环管理的驱动下，对数据质量不断生成新的治理需求，不断解决质量问题，从而持续的提升数据质量。

技术领域

本发明涉及数据质量控制技术领域，更具体地，涉及一种数据质量闭环控制方法。

背景技术

政府部门、互联网企业、大型集团企业积累沉淀了大量的数据资源。我国已成为产生和积累数据量最大、数据类型最丰富的国家之一，从国家战略和城市战略来看数据已成为第一资源。但由于在信息化的建设过程中，企业和政府都面临着同一个问题，数据的浪费，造成数据浪费。数据的重复、数据不准确、数据不可信、数据缺失、数据无法关联、数据不一致、数据更新缓慢甚至中断等数据质量问题随着信息化的发展暴露的越来越多，质量低下成为了政府和企业数据的核心问题。数据存在的质量问题，包括技术问题、信息问题、流程问题、管理问题等，无法满足数据的一致性和规范性等问题，没有有效的质量管理方法。

发明内容

鉴于上述问题，本发明提出了一种数据质量闭环控制方法，针对数据存在的质量问题，包括技术问题、信息问题、流程问题、管理问题等，无法满足数据的一致性和规范性等问题，建立数据质量闭环治理，持续提升数据质量。

为了达到上述目的，本发明实施例提供了一种数据质量闭环控制方法，包括：

步骤1：制定数据质量监控检核方案，对数据质量监控检核；

步骤2：制定数据质量规则库；

步骤3：按照数据质量规则库定时执行数据质量管控，得到数据质量问题；

步骤4：对数据质量问题管理；

步骤5：对数据质量评估，返回步骤1。

进一步的，在步骤1之前还包括定义数据质量，具体包括定义数据质量检核关键数据项，定义检核规则，定义数据质量测量指标，定义数据质量控制和监测方式和定义数据质量评价模型。

进一步的，定义数据质量检核关键数据项包括空值校验、重复校验、格式校验、参照校验、值域校验、一致性校验、逻辑校验和关系校验；

定义数据质量检核规则包括定义规则名称、关联表、规则类型、问题等级、规则权重、规则状态、规则描述和创建时间；

定义数据质量测量指标，包括定义数据的完整性、一致性、重复性、正确性、合规性、关联性和时效性；

定义数据质量控制模型和数据质量监测方式，所述数据质量控制模型控制数据稽查对象、数据稽查频度、数据稽查时间和数据稽查方式；所述数据质量监测方式包括自动方式数据质量监测或手动方式数据质量监测；

以及定义数据质量评价模型，对数据质量量化诊断和评价。

进一步的，步骤1中制定数据质量监控检核方案包括在业务流程中的数据质量控制和在信息系统中的数据质量控制；

所述在业务流程中的数据质量控制包括在数据产生环节数据质量控制、在数据集成环节数据质量控制和在数据使用环节数据质量控制；

所述在信息系统中的数据质量控制包括对信息系统中的人员、流程、业务系统前端、业务系统数据库、抽取过程和加载过程产生的数据质量问题控制。

进一步的，步骤3中，所述制定数据质量规则库包括：

数据质量需求收集，对数据质量需求进行收集，通过发现质量问题、数据使用质量问题、数据过程质量问题和数据总体质量问题进行收集和整理，发现数据质量总体要求，对质量总体要求进行整合，确认数据质量总体目标；