[发明专利]一种面向大数据的数据质量稽核监控方法

说明书

本发明公开一种面向大数据的数据质量稽核监控方法，包括如下步骤：（1）构建数据质量稽核评估模型；（2）构建质量稽核执行引擎，通过执行引擎对各层级的数据的一致性、及时性、准确性和完整性进行稽核。本发明解决海量数据下的实时、异步、异库数据质量稽核和监控，有效保证数据的准确、及时、一致性、完整性，提升数据质量，及时发现数据问题。

技术领域

本发明涉及一种数据监控方法，具体是一种面向大数据的数据质量稽核监控方法。

背景技术

为应对激烈的市场竞争，运营商越来越依赖精确化的数据统计分析以实现科学管理和决策。数据质量的好坏直接关系到信息提供的准确程度。数据质量问题得不到有效解决，数据资产将不能有效反映企业运营和市场事实，经营决策将失去可靠依据。大数据时代，数据爆炸式增长。海量的数据一方面为运营商带来大量的信息资产，另一方面无用数据、干扰数据也呈现指数级增加。因此，围绕企业大数据的生命周期，实现对关键数据的全过程质量监控尤为重要。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种面向大数据的数据质量稽核监控方案，解决海量数据下的实时、异步、异库数据质量稽核和监控，有效保证数据的准确、及时、一致性、完整性，提升数据质量，及时发现数据问题。

技术方案：本发明所述面向大数据的数据质量稽核监控方法，包括如下步骤：

(1)构建数据质量稽核评估模型：根据数据类型、数据质量定义，以及数据在创建和使用时所需要的规则，建立数据质量模型；基于数据质量模型，对接口层、整合层、宽表层和指标层的数据分别制定稽核标准；

(2)构建质量稽核执行引擎：整合各层级数据稽核标准，将稽核标准分为一致性稽核、及时性稽核、准确性稽核和完整性稽核，为各稽核标准分别建立稽核执行引擎，通过执行引擎对各层级的数据的一致性、及时性、准确性和完整性进行稽核。

本发明进一步优选地技术方案为，在构建数据质量稽核评估模型时，对接口层的稽核包括记录数一致性稽核、模糊性稽核、关键业务字段拉链比对和抽样稽核；

接口层的记录数一致性稽核包括外系统提供稽核指标结果，结合数据平台入库情况，比对接口层内外两个系统数据一致性；以及文件入库时，结合稽核文件、数据文件、数据平台入库情况，稽核比对记录一致性；

接口层的模糊性稽核是在一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核；

接口层的关键业务字段拉链比对是比对稽核源系统与数据平台系统数据表字段取值一致性；

接口层的抽样稽核是在关键业务字段拉链比对后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

作为优选地，对于整合层的稽核包括记录数一致性稽核、抽样稽核和模糊性稽核；

整合层的记录数一致性稽核是比对整合层中间表与接口表数据记录数；

整合层的抽样稽核是对重点中间表抽样比对接口层与整合层数值；

整合层的模糊性稽核是在记录数一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

优选地，对于宽表层的稽核包括记录数一致性稽核、抽样稽核和模糊性稽核；

宽表层的记录数一致性稽核是比对宽表层中间表与整合表数据记录数；

宽表层的抽样稽核是对重点中间表抽样比对整合层与宽表层数值；

宽表层的模糊性稽核是在记录数一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

优选地，对于指标层的稽核包括记录数一致性稽核、抽样稽核和模糊性稽核；