[发明专利]一种针对广域量测电力大数据数据质量的快速在线评估方法

权利要求书

1.一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，包括如下步骤：

步骤1：获取给定时段内广域量测系统的实时电力大数据；

步骤2：采用MapReduce并行化K-means聚类算法对确定的电力大数据对象进行快速的预处理：将电力大数据集通过K-means聚类算法分类为若干小数据集，且每个小数据集中的数据对象之间具有相似性；

步骤3：对经过预处理的电力大数据对象采用基于KNN的快速密度峰值异常值检测算法来进行正确性指标的评估：基于小数据集中每个样本与其他样本之间的欧氏距离来计算该样本的局部密度，并根据局部密度得到KNN距离，然后将局部密度小于预设密度阈值和KNN距离大于预设距离阈值的样本作为异常数据，并据此评估电力大数据对象的正确性；

步骤4：继续对经过预处理的电力大数据对象进行评估：基于完整性、唯一性、准确性、一致性和有效性这五个评估指标建立对应的电力大数据质量评估规则，评估规则即判断数据是否符合评估要求的规则，其中完整性是检测数据是否存在缺失记录或缺失字段，唯一性是检测数据是否存在重复的记录，准确性是检测数据值的精度是否符合要求，一致性是检测同一属性数据在表达格式上是否一致，有效性是检测数据是否符合数据格式和值域范围的要求；

步骤5：利用层次分析法快速确定各评估指标的权重系数：根据步骤3和4中的评估指标和评估规则，采用1-9标度法形成判断矩阵并检验判断矩阵的一致性，再对判断矩阵进行列归一化并计算每一行的平均值，得到评估指标的权重系数；

步骤6：根据电力大数据质量评估规则中的每条评估规则，对经过预处理的电力大数据对象进行快速检测分析，统计满足评估规则的数据个数百分比，再根据步骤5中得到的各评估指标权重系数和检测结果，计算出电力大数据质量的综合评估值。

2.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤2包括以下步骤：

以步骤1中得到的电力大数据对象作为聚类样本集H＝{h₁,h₂,...,h_j,...,h_n}，其中h_j为数据对象，将原始数据分成k个类别，其中k≤n，用s_i(i＝1,2,...,k)表示在n个数据对象中选出的k个聚类中心，聚类中心s_i(i＝1,2,...,k)是同一类别数据对象的算数平均值，即

其中N_i为类i的数据对象个数，h_i为类i中的数据对象；

对于不属于聚类中心的数据对象，根据到每一个聚类中心的相似度即欧氏距离进行分配，然后重新计算新的聚类中心即聚类对象的均值，不断重复此过程直至标准测度函数收敛，标准测度函数为

其中h_j为类i中的数据对象，J为聚类样本集中所有数据的均方差之和。

3.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤3包括以下步骤：

在步骤2中得到的每个小数据集中，计算任一样本x_i与其他样本之间的欧氏距离d(x_i,x_j)，并将计算结果按照升序排列，以对应第k个距离的样本为N_k(x_i)，x_i的K个最近邻为：

N(x_i)＝{j∈X|d(x_i,x_j)≤d(x_i,N_k(x_i))}

用N(x_i)来计算x_i的局部密度

其中K＝ρN，ρ是数据集的总样本数N的百分比；

KNN距离为：

其中d_ij为x_i与x_j之间的距离；

异常样本为：局部密度且距离值其中，局部密度阈值为：

距离阈值的定义为：

其中γ_ρ和γ_δ为经验参数。