[发明专利]数据准确性的校验方法及装置

说明书

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据准确性的校验方法及装置。

背景技术

随着数据仓库规模的扩大，应用的不断增多，数据间的依赖关系也越来越复杂，一个统计报表/绩效指标，都可能需要来源于多个数据表，并经过多层转换，才能计算得到。同时，数据在企业的日常运营中发挥的作用越来越大，而业务部门应用数据时对数据的首要要求是准确，不准确的数据非但不能辅导运营，提升业务效率，还有可能会误导业务部门，以致做出错误决策。

因为数据计算的复杂性，数据出错的机率相对比较大，而数据的使用方不会接受计算错误的数据，因而对数据计算结果进行监控，校验，确保提供正确的结果是非常重要的。

目前，一般的数据仓库系统会编写一些数据校验脚本，对计算得到的数据进行校验，这些脚本以数据监控任务方式单独放到调度系统中运行，数据监控任务一般不影响或干涉数据提取、转换和加载(Extraction-Transformation-Loading，简称为ETL)工作流的运行。当校验得出计算结果有异常时，后续再由工程师查找原因，进行数据的回滚计算操作。

对于上述的数据准确性(或者，称作数据质量)的校验方法，通常存在以下几个问题：

首先，由于ETL任务与数据校验任务分离，数据校验的结果只是作为事后进行故障排查分析的参考，并不能有效地隔离某项数据错误给整个系统带来的影响，因而造成监控处理不够及时，事后的处理成本较高。

其次，由于进行数据校验的业务逻辑脚本分散的封装在各个数据校验任务脚本中，重复编写，维护不便，进而造成同类数据校验程序并存，没有通用性。

此外，现有的数据准确性校验规则较简单，通常只考虑与源表对比行数，对基于商业指标的监控，考虑较少。

针对现有技术中的数据准确性的校验方法往往造成监控处理不够及时的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据准确性的校验方法及装置，以解决现有技术中的数据准确性的校验方法往往造成监控处理不够及时的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据准确性的校验方法。

根据本申请的数据准确性的校验方法包括：获取与目标表相关的校验规则信息，其中，目标表为需要进行数据准确性校验的目标数据表；利用与目标表相关的校验规则信息对目标表进行数据准确性校验；以及根据校验结果输出不同的提示信息。

进一步地，获取与目标表相关的校验规则信息包括：在校验规则配置表中获取与第一目标表相关的校验规则信息；以及在校验规则配置表中获取与第二目标表相关的校验规则信息，其中，在校验规则配置表中配置有与多个目标表相关的校验规则信息。

进一步地，上述方法还包括：接收用户输入的校验规则信息；以及根据接收的校验规则信息对校验规则配置表中的校验规则信息进行更新。

进一步地，在利用目标表相关的校验规则信息对目标表进行数据准确性校验之后，方法还包括：将校验结果记录在校验日志表中。

进一步地，利用与目标表相关的校验规则信息对目标表进行数据准确性校验包括：根据校验规则信息生成目标数据指标值查询程序；根据目标数据指标值查询程序对目标表进行查询，得到目标数据指标值；根据校验规则信息生成基准数据指标值查询程序；根据基准数据指标值查询程序对目标表进行查询，得到基准数据指标值；对目标数据指标值与基准数据指标值进行比较以对目标表进行数据准确性校验。

进一步地，利用与目标表相关的校验规则信息对目标表进行数据准确性校验包括：根据校验规则信息生成目标数据指标值查询程序；根据目标数据指标值查询程序对目标表进行查询，得到目标数据指标值；以及对目标数据指标值与基准数据指标值进行比较以对目标表进行数据准确性校验，根据校验结果输出不同的提示信息包括：判断目标数据指标值与基准数据指标值的差值是否大于等于第一预定阈值；在目标数据指标值与基准数据指标值的差值大于等于第一预定阈值时，返回校验失败信息并输出第一告警信息；在目标数据指标值与基准数据指标值的差值小于第一预定阈值时，判断目标数据指标值与基准数据指标值的差值是否大于等于第二预定阈值，其中，第二预定阈值小于第一预定阈值；在目标数据指标值与基准数据指标值的差值小于第二预定阈值时，返回校验成功信息；以及在目标数据指标值与基准数据指标值的差值大于等于第二预定阈值时，返回校验成功信息并输出第二告警信息。