[发明专利]基于Spark的电能质量数据清洗方法及装置

说明书

本申请公开了基于Spark的电能质量数据清洗方法及装置，方法包括：采用预置Spark RDD模型读取HBase中的待清洗电能数据，待清洗电能数据为多源异构数据，待清洗电能数据包括模式层数据和实例层数据；通过预置系统间数据互校核规则对模式层数据的属性进行清洗，得到第一清洗数据；通过预置完整率判定法对实例层数据的缺失数据进行清洗，得到第二清洗数据；通预置函数估计算法对实例层数据的异常数据进行清洗，得到第三清洗数据。本申请解决了现有数据清洗技术效率较低，且不具备针对性导致的无法保证清洗数据的准确性的技术问题。

本申请要求申请日为2019年12月27日，申请号为201911380589.1的中国专利申请的优先权。

技术领域

本申请涉及数据清洗技术领域，尤其涉及基于Spark的电能质量数据清洗方法及装置。

背景技术

为加强对电网电能质量监测与分析，从上世纪90年代起，各省级电网公司、高校和研究机构、企业开展了大量的电能质量监测相关技术研究，推动了电能质量监测技术的快速发展，积累了大量的有效电能质量数据，在一定程度上提高了电能质量技术监督的工作效率，并为电能质量普查、电网故障分析等提供了数据和技术支撑。但电能质量监测系统与公司其他电力信息系统之间是隔绝的，没有信息交互，是典型的信息孤岛。

为了更大程度发挥电能质量数据的价值、减少信息孤岛中冗余信息的存在，有必要将电能质量数据与其他电力信息系统进行融合，从其他电力信息系统中获取用于电能质量数据分析应用的相关信息和数据。例如：网络架构、监测点信息等可从生产管理系统(Power production Management System，PMS)中获取，配网及用户侧的电压监测数据、电压合格率数据等可从电压监测系统、配网计量自动化系统中获取，开展电能质量与雷电影响相关性分析的气象数据可从电网气象信息系统中获取。但是，由于每个信息系统均是为了特定应用单独开发、部署和维护的，导致数据格式、数据模型和模式设计等不同，在这些系统融合的过程中，不可避免的会出现各种数据问题。这些问题数据直接影响到基于数据的分析结果的可信度。因此通过数据清洗技术对来自不同异构数据源的数据问题进行处理，以提升数据入库之前的质量是电能质量数据分析的重要环节。

目前，对于多源异构电能质量数据的清洗方法大部分是基于MapReduce程序进行的。对于融合后的海量异构电能质量数据，利用MapReduce程序清洗数据时效率低下，耗时较长，清洗技术不具备针对性，无法保证清洗后数据的干净程度和准确性。

发明内容

本申请提供了基于Spark的电能质量数据清洗方法及装置，用于解决现有数据清洗技术效率较低，且不具备针对性导致的无法保证清洗数据的准确性的技术问题。

有鉴于此，本申请第一方面提供了基于Spark的电能质量数据清洗方法，包括：

采用预置Spark RDD模型读取HBase中的待清洗电能数据，所述待清洗电能数据为多源异构数据，所述待清洗电能数据包括模式层数据和实例层数据；

通过预置系统间数据互校核规则对所述模式层数据的属性进行清洗，得到第一清洗数据；

通过预置完整率判定法对所述实例层数据的缺失数据进行清洗，得到第二清洗数据；

通预置函数估计算法对所述实例层数据的异常数据进行清洗，得到第三清洗数据。

优选地，所述采用预置Spark RDD模型读取HBase中的待清洗电能数据，之前还包括：

根据预置条件从异构数据源中抽取所述待清洗电能数据上传到所述HBase中进行存储，所述异构数据源包括pqdif、comtrade、excel和oracle。

优选地，所述根据预置条件从异构数据源中抽取所述待清洗电能数据上传到所述HBase中进行存储，所述异构数据源包括pqdif、comtrade、excel和oracle，包括：