[发明专利]一种面向大数据的数据质量稽核监控方法

权利要求书

1.一种面向大数据的数据质量稽核监控方法，其特征在于，包括如下步骤：

（1）构建数据质量稽核评估模型：根据数据类型、数据质量定义，以及数据在创建和使用时所需要的规则，建立数据质量模型；基于数据质量模型，对接口层、整合层、宽表层和指标层的数据分别制定稽核标准；

（2）构建质量稽核执行引擎：整合各层级数据稽核标准，将稽核标准分为一致性稽核、及时性稽核、准确性稽核和完整性稽核，为各稽核标准分别建立稽核执行引擎，通过执行引擎对各层级的数据的一致性、及时性、准确性和完整性进行稽核。

2.根据权利要求1所述的面向大数据的数据质量稽核监控方法，其特征在于，在构建数据质量稽核评估模型时，对接口层的稽核包括记录数一致性稽核、模糊性稽核、关键业务字段拉链比对和抽样稽核；

接口层的记录数一致性稽核包括外系统提供稽核指标结果，结合数据平台入库情况，比对接口层内外两个系统数据一致性；以及文件入库时，结合稽核文件、数据文件、数据平台入库情况，稽核比对记录一致性；

接口层的模糊性稽核是在一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核；

接口层的关键业务字段拉链比对是比对稽核源系统与数据平台系统数据表字段取值一致性；

接口层的抽样稽核是在关键业务字段拉链比对后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

3.根据权利要求1所述的面向大数据的数据质量稽核监控方法，其特征在于，对于整合层的稽核包括记录数一致性稽核、抽样稽核和模糊性稽核；

整合层的记录数一致性稽核是比对整合层中间表与接口表数据记录数；

整合层的抽样稽核是对重点中间表抽样比对接口层与整合层数值；

整合层的模糊性稽核是在记录数一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

4.根据权利要求1所述的面向大数据的数据质量稽核监控方法，其特征在于，对于宽表层的稽核包括记录数一致性稽核、抽样稽核和模糊性稽核；

宽表层的记录数一致性稽核是比对宽表层中间表与整合表数据记录数；

宽表层的抽样稽核是对重点中间表抽样比对整合层与宽表层数值；

宽表层的模糊性稽核是在记录数一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

5.根据权利要求1所述的面向大数据的数据质量稽核监控方法，其特征在于，对于指标层的稽核包括记录数一致性稽核、抽样稽核和模糊性稽核；

指标层的记录数一致性稽核是比对宽表层中间表与指标表数据记录数；

指标层的抽样稽核是对重点中间表抽样比对指标层与宽表层数值；

指标层的模糊性稽核是在记录数一致性稽核后，比对历史数据、数据趋势和数据关联，设置同比、环比和平衡公式稽核。

6.根据权利要求1所述的面向大数据的数据质量稽核监控方法，其特征在于，在构建质量稽核执行引擎时，对于一致性稽核包括总数一致性稽核、抽样记录一致性稽核和明细记录一致性稽核；

总数一致性稽核为在设定时间下稽核待比对的两数据库的总数，确保两数据库总数的一致性；

抽样记录一致性稽核是在设定时间下，提取任一数据库的任意数据，比对另一数据库，确认是否有对应数据存在；

明细记录一致性稽核是在设定时间下，将任一数据内每条数据记录与另一数据库数据记录比对，确认是否有对应数据记录存在。

7.根据权利要求1所述的面向大数据的数据质量稽核监控方法，其特征在于，对于及时性稽核是在流失数据采集或处理过程，对每条记录增加及时性分析信息，并标识信息在每个节点的时刻；对每个处理环节，标识记录开始时间点和当前环节时间点，再根据开始时间点和当前环节时间点差值，确定从开始到目前节点的时延数据，时延数据小于或等于设定最大延迟值时，满足及时性要求。