[发明专利]一种大数据平台数据质量校验的方法、装置及系统

说明书

本申请实施例公开了一种大数据平台数据质量校验的方法、装置及系统，其中方法包括：S1:从质量平台获取质量规则表达式得到预执行计划；S2:对所述预执行计划进行处理，得到编译文件；S3:使用所述编译文件实时抽取目标数据库的缓存内的待同步数据进行计算统计；所述待同步数据为待同步数据库向所述目标数据库实时发送的数据；S4:根据所述计算统计结果生成质量报告，并发送所述质量报告至所述质量平台。通过将规则计算引擎嵌入到数据集成工具中，在数据迁移的过程中完成数据质量的在线分析，避免了数据落盘重复抽取数据造成计算资源和网络资源的消耗。

技术领域

本发明涉及大数据平台数据质量校验领域，具体涉及一种大数据平台数据质量校验的方法、装置及系统。

背景技术

大数据平台采用质量规则表达式对数据进行校验，对规则表达式数据的结果作为key，统计key的出现概率，通过与预先设置的阈值比较判定质量校验是否通过。目前常见的大数据平台都是采用任务流的方式管理数据处理任务，通常以数据集成任务为任务流的起始任务，该任务用于将业务库数据同步到大数据平台的数据仓库中，通过新建质量任务，再次抽取业务库数据或者数据仓库的数据计算数据质量，该方案有如下缺点：

1.再次抽取业务库数据增加了业务库资源的消耗，如果将质量分析表达式通过sql传递给业务库，将极大的增加业务库的计算资源。

2.若通过抽取业务库在数据仓库中的数据副本做质量分析，将增加大数据平台的计算资源消耗。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种大数据平台数据质量校验的方法、装置及系统，通过将规则计算引擎嵌入到数据集成工具中，在业务库数据向大数据平台数据仓库同步迁移的过程中完成数据质量的在线分析，避免了数据落盘重复抽取数据造成计算资源和网络资源的消耗。

根据本发明的一个方面，本发明提供了一种大数据平台数据质量校验的方法，所述方法包括以下步骤：

S1:从质量平台获取质量规则表达式得到预执行计划；

S2:对所述预执行计划进行处理，得到编译文件；

S3:使用所述编译文件实时抽取目标数据库的缓存内的待同步数据进行计算统计；所述待同步数据为待同步数据库向所述目标数据库实时发送的数据；

S4:根据所述计算统计结果生成质量报告，并发送所述质量报告至所述质量平台。

优选地，所述步骤S1包括：

S11:将规则表达式解析成语法树，形成逻辑执行计划；

S12:对所述逻辑执行计划进行常量折叠优化，得到预执行计划。

优选地，所述步骤S2包括：

S21:通过代码生成器将所述预执行计划生成为java代码；对生成的所述java代码进行编译，得到编译文件；

S22:判断所述质量规则表达式中是否包含聚合函数，并根据判断结果执行对应的预执行计划生成规则生成所述java代码。

优选地，当所述质量规则表达式为自定义质量规则表达式时，所述步骤S1还包括：

将所述自定义质量规则表达式格式化为质量引擎接受的格式后得到预执行计划。

优选地，所述步骤S4之后还包括：

S5:当数据质量低于预设条件时，发出任务流阻塞指令以中止所述待同步数据库向所述目标数据库数据同步的进程。

根据本发明的另一个方面，本发明还提供了一种大数据平台数据质量校验的装置，所述装置包括：

规则预处理模块，从质量平台获取质量规则表达式得到预执行计划；