[发明专利]一种在数据稽核中对稽核结果进行质量评价的方法及装置

说明书

本发明公开一种在数据稽核中对稽核结果进行质量评价的方法及装置，其中，该方法包括：构建稽核模型，对稽核目标表进行数据质量稽核；判断稽核类型，针对不同稽核类型，对本次稽核中的关键指标进行收集并计算；使用预置公式对本次稽核的数据质量进行打分；使用历史评分均值修正本次评分；针对不同的稽核类型，使用本次稽核中的关键指标进行加权校准；根据校准后的评分，重新计算出历史评分均值，供下次稽核使用。该方法及装置在持续进行多轮数据稽核后，通过数据自动计算和修正，将评分的准确性逐步校准；评分模型主要使用百分比和变异系数，可以对不同稽核目标表的评分直接进行二次计算，从而得出多个稽核目标表联合评分和整体稽核结果评分。

技术领域

本发明涉及数据质量稽核领域，尤其是一种在数据稽核中对稽核结果进行质量评价的方法及装置。

背景技术

数据质量稽核是数据仓库、数据共享、数据中台和数据治理等场景中，非常重要的一个功能模块，用以对环境中数据的准确性、完整性、唯一性、实时性和稳定性等各项综合指标进行稽核。

在现有的数据稽核中，如何对稽核结果进行量化评价是一个大难题，通常是由稽核方制定一套相对简单的评分公式，然后下放至所有稽核模型和稽核对象使用。此时，如果各稽核对象由于数据量不一致，业务场景不一致，就会导致稽核评分结果与真实情况出现极大偏离。

比如，对表A的字段a进行唯一性稽核，通常稽核流程会统计表A中字段a的总记录数m，排重记录数n，然后使用(m-n)*100/m或者直接用n*100/m来对这项稽核进行打分。很明显，在这种打分体系里，是将总记录数作为分母的，意味着稽核目标表的总数据量的级别，会对打分稳定性造成极大干扰。假设都是由于某项数据同步和加工的调度任务异常造成部分数据重复，一张100条记录左右的稽核目标表，可能这次异常时段的质量评分相比正常时段会有近十个点的偏离，而一张表100万条记录左右的稽核目标表，可能只会有两、三个点的偏离。

造成这一现象的原因，是目前的稽核评分公式都是相对静态的，只针对每一轮期间从稽核对象中统计出的结果直接进行计算并输出评价，没有针对历史稽核情况对当前稽核结果进行修正，以屏蔽掉稽核对象的总数据量和数据分布情况对评分结果造成的干扰。

发明内容

为了解决现有技术存在的上述问题，本发明提供一种在数据稽核中对稽核结果进行质量评价的方法及装置。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种在数据稽核中对稽核结果进行质量评价的方法，该方法包括：

构建稽核模型，对稽核目标表进行数据质量稽核；

判断稽核类型，针对不同的稽核类型，对本次稽核中的关键指标进行收集并计算；

使用预置的标准评分公式对本次稽核的数据质量进行打分；

使用历史评分均值修正本次评分；

针对不同的稽核类型，使用本次稽核中的关键指标进行加权校准；

根据校准后的评分，重新计算出历史评分均值，供下次稽核使用。

进一步地，针对不同的稽核类型，对本次稽核中的关键指标进行收集并计算，包括：

统计稽核目标表的总记录条数R和异常记录条数R1；

唯一性稽核时，收集各枚举值的重复次数n，计算变异系数C.V(n)；

完整性稽核时，收集各枚举值的重复次数和缺失枚举值数量，对缺失枚举值使用对应的重复次数均值进行补数，再计算变异系数C.V(R’)；

实时性稽核时，收集各条记录的实际时间与期望时间，计算均值M和均方误差E；