[发明专利]基于流数据聚类算法的电力大数据流异常检测

摘要

本发明属于电力大数据异常检测技术领域，公开了一种基于机器学习的流式K‑means聚类算法。本方法，首先通过Redis集群进行电力流数据的缓存及处理，然后使用基于最佳距离法的K‑means聚类算法从Redis集群中存取数据进行聚类分析。具体为：1)对电力大数据进行预处理，得到有效的训练样本和测试样本；2)使用Redis集群对样本数据进行在线缓存处理；3)使用K‑means算法进行数据的存取及聚类分析；4)使用测试样本，对模型的性能进行分析。本发明从数据的安全性、完整性以及流数据聚类算法的低时间复杂度的角度出发，改善了传统流数据聚类算法断电易丢失数据、不能存储全部数据等缺陷，使该算法能够应用于一些对数据敏感的应用。

主权项

1.一种基于流数据聚类算法的电力大数据流异常检测方法。其特征在于，该方法的具体步骤为：步骤1：对电力大数据进行数据归一化、划分训练集、测试集等预处理工作；步骤2：使用Redis集群对样本数据进行在线缓存；步骤3：使用K‑means聚类算法存取Redis中的数据进行离线聚类；步骤4：利用用户用电数据流进行算法的验证及性能分析；步骤5：对增量电力流式大数据进行与样本数据同样的预处理工作；步骤6：使用增量数据对保存的模型进行增量训练，验证模型的泛化能力。