[发明专利]分布式大数据采集平台的数据异常监控及修复方法

权利要求书

1.分布式大数据采集平台的数据异常监控及修复方法，其特征在于，包括：

利用大数据采集平台的Kafka消息系统集群实时收集区域采集前置机转发的客户设备的上传数据；

根据数据质量校验规则库对所述数据进行数据质量分析得到实时数据质量指标，生成异常清单，并发布所述实时数据质量指标；其中，所述数据质量校验规则库是在注册数据模型时预设的；

根据数据质量校验规则库对所述数据进行数据质量分析包括：

大数据采集平台中的SPARK流处理集群利用数据质量校验规则库对Kafka消息系统集群采集的数据流进行计算；

利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复；

对所述异常清单中的异常数据进行辨识包括：

对所述异常数据的空值、零值、连续恒定值和异常倍增值进行辨识。

2.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，根据数据质量校验规则对所述数据进行数据质量分析，生成异常清单进一步包括：

S1：检查所述数据是否完整，若否生成异常清单，若是转到执行S2；

S2：检查所述数据的数据项是否规范，若否生成异常清单，若是数据自动入库，转到执行S3；

S3：检查所述数据是否合理，若否生成异常清单。

3.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，在只有少量异常数据时，可利用关联分析法对所述异常数据进行处理。

4.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，结合历史数据、采集点上下游关系、总分关系对所述异常清单中的异常数据进行修复。

5.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，对数据模型注册后进行一致性和合规性审核，设置所述数据模型的数据质量校验规则库。

6.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复之后还包括，对平台处理的数据异常和修复值进行实时发布。

7.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，根据数据质量校验规则对所述数据进行数据检查，生成异常清单进一步包括：

所述数据质量校验规则库为：数据完整性规则，数据项规范性规则和数据合理性规则。

8.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，计算得到实时数据质量指标并发布进一步包括，利用大数据采集平台对计算后的实时数据质量指标通过消息进行发布。

9.根据权利要求1所述的分布式大数据采集平台的数据异常监控及修复方法，其特征在于，异常数据修复后提供可追溯的方式对原始采集数据和修复后数据进行标识。