[发明专利]一种基于邻域传播聚类的能耗数据清洗方法

说明书

本发明提供的一种基于邻域传播聚类的能耗数据清洗方法，包括：输入相似矩阵，初始化数据样本的归属度；计算并更新数据样本点的吸引度；计算并更新数据样本点的归属度，直至吸引度、归属度均收敛；判断聚簇中心是否变化，若是则确定数据聚类结果，根据数据聚类结果，针对每个数据点进行离群分析并计算每个数据点的LOF值；根据LOF值进行排序，逐一判断每个LOF值的异常情况，剔除异常数据，完成能耗数据清洗。本发明提供的一种基于邻域传播聚类的能耗数据清洗方法，通过相似矩阵的参考度的值确定聚类中心，无需预先给出聚类中心的数量；通过LOF算法高精度地检测并清洗掉能耗数据中存在的异常数据。

技术领域

本发明涉及能源数据清洗技术领域，更具体的，涉及一种基于邻域传播聚类的能耗数据清洗方法。

背景技术

多晶硅是一种重要的功能材料，用于人工智能、光电转换信息等电子产业、半导体工业、太阳能光伏电池产业等^[1]。从这个层面上讲，硅材料有着重要的战略地位，影响着我国在新能源和高科技领域的利益。多晶硅生产企业的能源管理系统记录了数量巨大，维护周期较长的能耗数据，由于采集程序传输的波动、工艺复杂、设备故障等情况，所以能耗数据存在数据冗余、耦合度高、异常点等情况。因此需要采取合适的方式发现能耗数据中的异常值，并且对数据进行清洗，一方面可以辅助决策者发现异常情况，另一方面还可以提高基于数据驱动的能耗预测模型和能耗评估模型的精度。

已有的聚类算法经常被用作数据清洗的手段。作为数据挖掘方向常用的方法，聚类算法在深度学习、模式识别等领域有广泛的应用，但是在学术界，关于聚类至今还没有一个公认的定义，普遍意义上接受的定义如下：对于一个数据集，如果它被聚类为A簇和B簇，那么A簇内实体是相似的，B簇内实体是相似的，但是A簇内的实体和B簇内的实体是不相似的^[2]。聚类可以分为：层次方法、划分方法、基于网格的方法、基于模型的方法、模糊聚类方法、基于密度的方法等^[3]。

Alberto Santini提出了一种新方法来提高DPC方法的准确性，建议对数据集进行分区，之后将划分好的子集传递给DPC方法。SD具有快速且不需要高计算能力的优点，实验结果表明，该方法证明了聚类更高准确性^[4]。Miin-Shen Yang 等人在基于模糊模型的高斯(F-MB-Gauss)聚类中引入了MB-Gauss，解决了模糊模型的高斯聚类中依赖初始化和先验分配多个簇的问题，提出了一种无监督学习模型。实验结果表明，提出的算法一方面解决了初始化问题，另一方面解决了如果获得最佳聚类数据问题^[5]。Alex Rodriguez提出了一种关于密度峰值的聚类算法(clustering by fast search and find of density peak,CFSFDP)，提出的该算法思路简单明了，新颖快速。关于如何确定聚类中心，提出了一种新理论，Alex Rodriguez在Olivetti人脸数据库基础上，对提出是的聚类算法进行了实验，实验效果较好^[6]。在溶解氧对于智能管理和水产养殖相关研究方面，Pei Shi等人提出了一种新的基于聚类的Softplus方法-CSELM，该方法采用k-medoids聚类，该方法的核心点是：根据不同的DTW距离将数据集分组到不同的聚类中，并结合Softplus ELM算法预测未来的趋势，该算法可以准确有效地预测时间序列数据中的溶解氧变化^[7]。