[发明专利]一种多源数据接入下电力数据标准化清洗方法和装置

说明书

本发明涉及一种多源数据接入下电力数据标准化清洗方法，包括：S10、数据初步聚类处理，使用K均值算法对采集到的数据进行读取，根据数据的属性值特征对采集到的数据进行分类，S20、多源数据清洗采用聚类处理后的数据作为数据清洗的数据来源，将处理后的数据设定为数据库形式，并采用现有的数据清洗工具完成多源数据清洗工作。本发明的有益效果是：根据数据的属性值特征对采集到的数据进行分类，采用聚类处理后的数据作为数据清洗的数据来源，将处理后的数据设定为数据库形式，采用现有的数据清洗工具完成多源数据清洗工作，提高数据库数据处理结果的精确度，进而提高清洗数据的准确率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多源数据接入下电力数据标准化清洗方法和装置。

背景技术

人们可以使用越来越多的数据资源，但是海量的数据并不一定具有真正的价值，数据的价值来源于其质量，而数据挖掘的质量直接影响决策的质量。然而，人工处理这些庞大而杂乱的数据是非常困难的，数据质量问题已成为制约数据应用和处理的瓶颈之一。纠正数据中的质量问题，避免决策失误，降低决策风险，是数据处理的重要环节。在以往的研究中，采用数据标准化清洗系统来完成数据清洗。然而，由于数据量的增加，多源数据的出现对系统的性能产生了影响，电力数据尤为明显。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种多源数据接入下电力数据标准化清洗方法和装置。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

S10、电力数据初步聚类处理，使用K均值算法对采集到的数据进行读取，根据数据的属性值特征对采集到的数据进行分类，完成电力数据聚类处理；

S20、电力多源数据清洗，采用聚类处理后的数据作为数据清洗的数据来源，完成电力数据标准化清洗。

进一步地，S10中，数据进行分类的工作处理复杂性可表示为A(n)，将采集到的数据采用字符串的形式体现，其数据聚类计算复杂性可表示为A(m·I)，其中m表示不同属性数据的个数，I表示相同属性的数据个数，为保证数据聚类的可行性，设定初步聚类处理中的约束条件表示为：

式中，S表示聚类核心距离，对此公式进行变换，得到适用于多源数据聚类约束条件，则有：

A(m·I)＝A(n)

采用计算相似度的形式，控制聚类核心距离的计算精度，通过公式表示为：

J(A,B)＝|A∩B|/|A∪B|

式中，J表示计算核心距离的相似度，B为计算结果，通过此公式将计算结果的误差值控制在0.5％之内，以此保证后续计算的有效性；

设定G表示数据类型出现的次数，H表示此部分数据类型出现的权重，则计算中此类型数据出现的频率R可表示为：

将上述公式融入数据聚类模块中，完成数据聚类处理；

S20、多源数据清洗，采用聚类处理后的数据作为数据清洗的数据来源，将处理后的数据设定为数据库形式，设定在数据库Y中具有两组数据，其中一组为无需清洗的数据集合，另一组为需要清洗的数据，无需清洗的数据设定为C，C中包含的数据全部由数据库Y中元素组成，f_c(a)表示C在数据库中出现的次数，Q_c(a)为待清洗数据在数据库中与无需清洗数据的相似度，则有：

设定Q_c(v)表示数据库中子集v在数据库中的相似度，则有：