[发明专利]一种基于聚合模型的海量数据质量报告生成方法

说明书

本发明涉及一种基于聚合模型的海量数据质量报告生成方法，通过定义的行聚合模型、列聚合模型等将物理的实际数据先转化为行列聚合模型，所谓的聚合模型就是原来整体的数据，根据聚合特性可以拆分和合并，这样就能支持离线计算，支持多个校验处理单元并行校验；另外生成大规模数据质量报告的结果数据也不是一个整体，而是来自多个数据质量校验的处理单元输出的数据质量报告结果，通过消息队列统一消化和聚合，最终生成针对大规模结构化数据进行的可自定义校验规则的数据质量校验分析报告。本发明既能支持通用校验规则的定制，又能支持海量大规模数据进行离线数据校验。

技术领域

本发明涉及数据治理领域，特别是一种基于聚合模型的海量数据质量报告生成方法。

背景技术

随着信息技术的发展，数据逐渐成为企业价值最重要的资源，而随之而来的数据质量问题也越来越严重，数据的错误、缺失、不一致等数据质量问题是企业必须面对的问题，正确有效的数据是数据存储和分析的前提。

随着互联网技术和各种存储技术的发展，企业存储的数据规模在不断的增长，对海量大规模数据的校验，成为企业数据治理不可避免的问题。

现有技术方案中已经存在一些对数据质量进行校验并生成数据质量报告的管理方法，但是这些技术方案大部分都存在无法灵活配置校验规则，无法支持海量数据进行校验的缺点。

专利申请公布号【CN 108595563 A】无法支持基于离线计算的聚合模型，只能针对常规规模的数据进行数据质量校验分析。

专利申请公布号【CN 107818106 A】没有定义一种通用模型和可配置的校验规则，只是针对数据一致性进行校验，不能形成完整的海量数据的数据质量校验方案。

发明内容

有鉴于此，本发明的目的是提出一种基于聚合模型的海量数据质量报告生成方法，既能支持通用校验规则的定制，又能支持海量大规模数据进行离线数据校验。

本发明采用以下方案实现：一种基于聚合模型的海量数据质量报告生成方法，包括以下步骤：

步骤S1：创建数据质量校验规则，并读取元数据，对结构化的表字段进行校验规则的配置；

步骤S2：根据配置好的校验规则，利用jdbc读取实际数据，然后将实际数据转化为行聚合模型与列聚合模型；

步骤S3：输入数据质量校验规则，调用大数据离线计算框架，将数据质量校验划分成并行的多个数据质量校验处理单元；

步骤S4：每个数据质量校验处理单元将数据质量的校验结果以及问题数据清单统一发送到消息队列；其中所述校验结果以行聚合模型、列聚合模型的格式发送至消息队列；

步骤S5：消息队列对接收到的行、列数据质量校验结果进行重新聚合，生成数据质量报告。

进一步地，所述行聚合模型定义了物理映射的表名、校验聚合维度、校验数量、以及校验问题数量。

进一步地，所述列聚合模型定义了物理映射的表名、字段名、校验的规则名、校验聚合维度、校验数量、以及校验问题数量。

进一步地，数据质量校验规则定义了输入单元、输出单元、校验规则名、校验参数、校验值域、以及校验表达式。

本发明通过定义的行聚合模型、列聚合模型等将物理的实际数据先转化为行列聚合模型，所谓的聚合模型就是原来整体的数据，根据聚合特性可以拆分和合并，这样就能支持离线计算，支持多个校验处理单元并行校验；另外生成大规模数据质量报告的结果数据也不是一个整体，而是来自多个数据质量校验的处理单元输出的数据质量报告结果，通过消息队列统一消化和聚合，最终生成针对大规模结构化数据进行的可自定义校验规则的数据质量校验分析报告。