[发明专利]一种基于聚合模型的海量数据质量报告生成方法在审
| 申请号： | 201811586804.9 | 申请日： | 2018-12-25 |
| 公开（公告）号： | CN109669936A | 公开（公告）日： | 2019-04-23 |
| 发明（设计）人： | 肖俊鑫 | 申请（专利权）人： | 福建南威软件有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/27;G06F9/54 |
| 代理公司： | 福州元创专利商标代理有限公司 35100 | 代理人： | 蔡学俊 |
| 地址： | 350003 福建省福州市鼓楼*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 聚合模型 大规模数据 报告生成 海量数据 校验规则 质量校验 校验 大规模结构 报告结果 处理单元 结果数据 聚合特性 离线计算 离线数据 实际数据 消息队列 校验处理 自定义 聚合 并行 消化 合并 输出 通用 行列 转化 分析 统一 | ||
【权利要求书】：
1.一种基于聚合模型的海量数据质量报告生成方法，其特征在于：包括以下步骤：
步骤S1：创建数据质量校验规则，并读取元数据，对结构化的表字段进行校验规则的配置；
步骤S2：根据配置好的校验规则，利用jdbc读取实际数据，然后将实际数据转化为行聚合模型与列聚合模型；
步骤S3：输入数据质量校验规则，调用大数据离线计算框架，将数据质量校验划分成并行的多个数据质量校验处理单元；
步骤S4：每个数据质量校验处理单元将数据质量的校验结果以及问题数据清单统一发送到消息队列；其中所述校验结果以行聚合模型、列聚合模型的格式发送至消息队列；
步骤S5：消息队列对接收到的行、列数据质量校验结果进行重新聚合，生成数据质量报告。
2.根据权利要求1所述的一种基于聚合模型的海量数据质量报告生成方法，其特征在于：所述行聚合模型定义了物理映射的表名、校验聚合维度、校验数量、以及校验问题数量。
3.根据权利要求1所述的一种基于聚合模型的海量数据质量报告生成方法，其特征在于：所述列聚合模型定义了物理映射的表名、字段名、校验的规则名、校验聚合维度、校验数量、以及校验问题数量。
4.根据权利要求1所述的一种基于聚合模型的海量数据质量报告生成方法，其特征在于：数据质量校验规则定义了输入单元、输出单元、校验规则名、校验参数、校验值域、以及校验表达式。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于福建南威软件有限公司，未经福建南威软件有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811586804.9/1.html，转载请声明来源钻瓜专利网。
