[发明专利]一种针对广域量测电力大数据数据质量的快速在线评估方法

说明书

本发明公开一种针对广域量测电力大数据数据质量的快速在线评估方法，属于电力系统大数据应用领域，包括以下步骤：获取给定时段内广域量测系统的实时电力大数据；采用改进的MapReduce并行化K‑means聚类算法进行快速的预处理；采用基于KNN的快速密度峰值异常值检测算法对其进行正确性评估；再进行完整性、唯一性、准确性、一致性、有效性评估，根据评估指标I_i设计各个指标对应的评估规则R_r(r＝1,2,3……n)；利用层次分析法确定各评估指标的权重系数W_w；统计满足评估规则R_r(I_i)的数据个数百分比S_s，再根据得到的权重系数W_w和检测结果S_s，计算出电力大数据质量的综合评估值X。本发明解决了电力大数据质量快速评估问题，是基于WAMS的电网在线应用的基础性工作。

技术领域

本发明属于电力系统大数据应用领域，公开一种针对广域量测电力大数据数据质量的快速在线评估方法。

背景技术

在传统数据质量评估技术基础上，考虑广域量测系统电力大数据特征，评估电力大数据质量，确保获得可信度高和项目应用目标适用的电网量测大数据，对电力系统大数据的应用具有重要意义。

电力行业面临着正在形成的大数据环境，大数据时代对电力行业发展提出新的挑战，但也带来新的发展机遇。近十年来，随着我国经济的快速发展，电网规模不断扩大。在“西电东送、南北互供、全国联网”的建设方针下，我国各地区电网互联程度逐渐加深，交流同步互联和交直流混合互联并存，超大规模的互联电力系统的正在逐步形成。广域量测系统(Wide Area Measurement System,WAMS)是以同步向量测量技术为基础，以电力系统动态过程检测、分析和控制为目标的实时监控系统,具有异地高精度同步向量测量、高速通信和快速反应等技术特点，已在我国互联电网的动态过程实时监控领域广泛配置。面对这种海量数据的增加，多数电力部门仅使用传统的数据分析方法和简单的传统统计方法进行数据分析和数据质量评估，适用性并不好；而且由于广域量测数据量大、数据处理复杂以及数据应用的原理复杂，目前对于广域量测大数据深度挖掘分析不够、实用化的高级应用欠缺，制约了广域量测数据在电网安全运行中的应用。数据背后隐藏的深层次知识无法有效得以理解使用，相反却带来了“数据灾难”和“数据荒废”，上述问题使得实际电网中广域量测数据大量闲置，无法充分发挥其应有的价值。

发明内容

针对现有技术的不足，本发明提出了一种针对广域量测电力大数据数据质量的快速在线评估方法，在传统数据质量评估技术基础上，充分考虑了广域量测系统电力大数据特征，进行电力大数据质量评估，确保快速获得可信度高和项目应用目标适用的电网量测大数据。

本发明采用如下技术方案：

一种针对广域量测电力大数据数据质量的快速在线评估方法，包括如下步骤：

步骤1：获取给定时段内广域量测系统的实时电力大数据；

步骤2：采用MapReduce并行化K-means聚类算法对确定的电力大数据对象进行快速的预处理：将电力大数据集通过K-means聚类算法分类为若干小数据集，且每个小数据集中的数据对象之间具有相似性；

步骤3：对经过预处理的电力大数据对象采用基于KNN的快速密度峰值异常值检测算法来进行正确性指标的评估：基于小数据集中每个样本与其他样本之间的欧氏距离来计算该样本的局部密度，并根据局部密度得到KNN距离，然后将局部密度小于预设密度阈值和KNN距离大于预设距离阈值的样本作为异常数据，并据此评估电力大数据对象的正确性；