[发明专利]分布式大数据采集平台的数据异常监控及修复方法

说明书

本发明公开了分布式大数据采集平台的数据异常监控及修复方法，包括：利用大数据采集平台实时收集客户设备的上传数据；根据数据质量校验规则库对所述数据进行数据质量分析，生成异常清单，计算得到实时数据质量指标并发布；其中，所述数据质量校验规则库是在注册数据模型时预设的；利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。本发明提供的分布式大数据采集平台的数据异常监控及修复方法，适用于基于海量数据采集的用电信息大数据处理和分析，主要解决海量用电数据采集过程中数据出现异常且不能及时处理，导致数据分析结果不可用的问题。

技术领域

本发明涉及大数据处理领域，尤其涉及分布式大数据采集平台的数据异常监控及修复方法。

背景技术

随着国内智能电网技术的发展，大型电力企业在推广智能电能表全面覆盖的过程中也开展了低压集中自动抄表系统的建设。通过建设大数据平台实现了发电、输电、变电、配电、用电等各个环节的电能量数据采集，为电力系统的建设、运行、规划提供了强力的数据支撑。

当前，各类企业通过信息系统的集约化管理实现了业务模型、数据模型的统一，但由于各地系统建设、运维、应用水平参差不齐，容易发生数据缺失、异常等各类问题，不利于在海量信息中开展数据挖掘，无法高效的实现大数据分析，削弱了对公司业务决策支撑力度。

现有技术主要是在采集数据存入数据库后直接进行业务分析，将处理结果与预设的规则库进行比较，当发现分析结果异常时系统自动生成异常工单，通过工单的流转由现场人员发现并处理问题。

现有方案以业务应用为支撑，当发现业务分析结果不可用时通过判据回溯数据问题原因。这种方式在传统的单一线条业务流程上具有较好的处理能力。但是在大数据应用场合下，对现场装置的数据采集频度较高，数据规模大，数据的应用方较多，原有的处理方式处理能力低，时效性较差。

发明内容

本发明提供的分布式大数据采集平台的数据异常监控及修复方法，适用于基于海量数据采集的用电信息大数据处理和分析，主要解决海量用电数据采集过程中数据出现异常且不能及时处理，导致数据分析结果不可用的问题。

为实现上述目的，本发明提供的分布式大数据采集平台的数据异常监控及修复方法，包括：

利用大数据采集平台实时收集客户设备的上传数据；

根据数据质量校验规则库对所述数据进行数据质量分析，生成异常清单，计算得到实时数据质量指标并发布；其中，所述数据质量校验规则库是在注册数据模型时预设的；

利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复。

可选的，根据数据质量校验规则对所述数据进行数据质量分析，生成异常清单进一步包括：

S1：检查所述数据是否完整，若否生成异常清单，若是转到执行S2；

S2：检查所述数据的数据项是否规范，若否生成异常清单，若是数据自动入库，转到执行S3；

S3：检查所述数据是否合理，若否生成异常清单。

可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，对所述异常数据的空值、零值、连续恒定值和异常倍增值进行辨识。

可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，在只有少量异常数据时，可利用关联分析法对所述异常数据进行处理。

可选的，利用大数据采集平台对所述异常清单中的异常数据进行辨识和修复进一步包括，结合历史数据、采集点上下游关系、总分关系对所述异常清单中的异常数据进行修复。

可选的，对数据模型注册后进行一致性和合规性审核，设置所述数据模型的数据质量校验规则库。