[发明专利]一种数据校验的数据质量管控方法

说明书

本发明涉及数据汇聚中数据质量管控领域，具体提供了一种数据校验的数据质量管控方法，有事前节点、事中节点和事后节点三部分，不同节点采用不同的校验算法,具体为：所述事前节点中制定标准规则，所述事中节点中进行身份校验和字段级校验，所述事后节点中进行逻辑运算校验和预警校验。与现有技术相比，本发明通过事前、事中和事后三个数据汇聚节点进行数据质量检测，基本涵盖了数据处理的所有节点，能够从数据处理的生命周期做到从开始到结束，全程护航数据，确保数据质量稳定可靠，具有良好的推广价值。

技术领域

本发明涉及数据汇聚中数据质量管控领域，具体提供一种数据校验的数据质量管控方法。

背景技术

数据质量管理(Data Quality Management)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

目前的数据质量管理主要集中于字段级校验,且校验阶段大多位于事后。

一方面校验覆盖面不够全面，另一方面，校验的维度不够多样，对于问题数据无法及时反馈，导致数据质量管控难度较大，质量不高。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的数据校验的数据质量管控方法。

本发明解决其技术问题所采用的技术方案是：

一种数据校验的数据质量管控方法，有事前节点、事中节点和事后节点三部分，不同节点采用不同的校验算法,具体为：

所述事前节点中制定标准规则，所述事中节点中进行身份校验和字段级校验，所述事后节点中进行逻辑运算校验和预警校验。

进一步的，在事中节点身份校验中，数据汇集中，数据生产者身份要进行验证。

进一步的，在事中节点字段级校验中，数据汇聚过程中根据标准规范进行字段级数据校验，字段级校验提供相关校验结果查询功能，且校验完毕的数据存在待校验库，经过事后节点逻辑运算校验后迁移到正式库。

作为优选，字段级数据校验规则包括完整性、数据准确性、数据一致性和数据及时性。

进一步的，在事后节点逻辑运算中，根据待校验库中数据的汇聚时间，定时进行逻辑运算校验，校验通过，转移数据进正式数据库，校验失败提供相关校验结果查询功能，提示数据问题。

进一步的，在事后节点逻辑运算中，校验失败的数据提供待校验数据查询，及时查找数据问题并针对性进行修正。

进一步的，在事后节点预警校验中，逻辑校验完毕通过的数据将会被迁移进正式库，此时的数据一定程度上已经属于可信数据。

进一步的，在事后节点预警校验中，要进一步提高数据质量，设置部分预警算法，用于对异常数据进行校验。

本发明的一种数据校验的数据质量管控方法和现有技术相比，具有以下突出的有益效果：

本发明通过事前、事中和事后三个数据汇聚节点进行数据质量检测，基本涵盖了数据处理的所有节点，能够从数据处理的生命周期做到从开始到结束，全程护航数据，确保数据质量稳定可靠。

校验算法层面，通过身份校验、字段级校验、逻辑运算校验及预警监测校验等算法，从不同粒度、不同维度，全方位对数据进行核查，深挖数据问题。结合待校验库、正式库，提供相关的字段级校验查询、待校验数据查询、逻辑校验结果查询、预警数据查询等功能，从制度上进行考评打分，各种维度确保数据质量。

附图说明