[发明专利]基于Spark的电能质量数据清洗方法及装置

权利要求书

1.基于Spark的电能质量数据清洗方法，其特征在于，包括：

采用预置Spark RDD模型读取HBase中的待清洗电能数据，所述待清洗电能数据为多源异构数据，所述待清洗电能数据包括模式层数据和实例层数据；

以预置电能质量在线监测系统为基准，将所述模式层数据的属性与所述预置电能质量在线监测系统中的基准属性对比，如果存在差异，则将所述模式层数据的属性进行属性转换，得到第一清洗数据，否则，不进行转换，所述第一清洗数据的属性为所述基准属性；

判断所述实例层数据的缺失数据是否为数据库主键值缺失，若是，则丢弃所述缺失数据，若否，则计算所述缺失数据的完整率；

当所述完整率大于预置完整值时，则根据历史数据对所述缺失数据进行填充，得到第一子清洗数据；

当所述完整率小于所述预置完整值且不为零值时，则重新抽取所述实例层数据，得到第二子清洗数据，第二清洗数据包括所述第一子清洗数据和所述第二子清洗数据；

当所述完整率为零值时，则剔除所述实例层数据；

通预置函数估计算法对所述实例层数据的异常数据进行清洗，得到第三清洗数据。

2.根据权利要求1所述的基于Spark的电能质量数据清洗方法，其特征在于，所述采用预置Spark RDD模型读取HBase中的待清洗电能数据，之前还包括：

根据预置条件从异构数据源中抽取所述待清洗电能数据上传到所述HBase中进行存储，所述异构数据源包括pqdif、comtrade、excel和oracle。

3.根据权利要求2所述的基于Spark的电能质量数据清洗方法，其特征在于，所述根据预置条件从异构数据源中抽取所述待清洗电能数据上传到所述HBase中进行存储，所述异构数据源包括pqdif、comtrade、excel和oracle，包括：

利用flume根据所述预置条件从所述pqdif、所述comtrade和所述excel中抽取所述待清洗电能数据上传到所述HBase中进行存储；

利用sqoop根据所述预置条件从所述oracle中抽取所述待清洗电能数据上传到所述HBase中进行存储。

4.根据权利要求1所述的基于Spark的电能质量数据清洗方法，其特征在于，所述通预置函数估计算法对所述实例层数据的异常数据进行清洗，得到第三清洗数据，包括：

通过高斯核函数非参数概率密度函数估计算法对所述实例层数据逐一进行辨识，得到异常数据；

将所述异常数据前后相邻时刻数据的平均值代替所述异常数据，得到所述第三清洗数据。

5.根据权利要求1所述的基于Spark的电能质量数据清洗方法，其特征在于，所述通预置函数估计算法对所述实例层数据的异常数据进行清洗，得到第三清洗数据，之后还包括：

将清洗后的干净数据存储到所述HBase中，所述干净数据包括所述第一清洗数据、所述第二清洗数据和所述第三清洗数据。

6.基于Spark的电能质量数据清洗装置，其特征在于，包括：

读取模块，用于采用预置Spark RDD模型读取HBase中的待清洗电能数据，所述待清洗电能数据为多源异构数据，所述待清洗电能数据包括模式层数据和实例层数据；

第一清洗模块，用于以预置电能质量在线监测系统为基准，将所述模式层数据的属性与所述预置电能质量在线监测系统中的基准属性对比，如果存在差异，则将所述模式层数据的属性进行属性转换，得到第一清洗数据，否则，不进行转换，所述第一清洗数据的属性为所述基准属性；

第二清洗模块，用于判断所述实例层数据的缺失数据是否为数据库主键值缺失，若是，则丢弃所述缺失数据，若否，则计算所述缺失数据的完整率；

当所述完整率大于预置完整值时，则根据历史数据对所述缺失数据进行填充，得到第一子清洗数据；

当所述完整率小于所述预置完整值且不为零值时，则重新抽取所述实例层数据，得到第二子清洗数据，第二清洗数据包括所述第一子清洗数据和所述第二子清洗数据；

当所述完整率为零值时，则剔除所述实例层数据；

第三清洗模块，用于通预置函数估计算法对所述实例层数据的异常数据进行清洗，得到第三清洗数据。