[发明专利]一种基于spark框架的短期电力负荷快速预测方法

说明书

本发明公开了一种基于spark框架的短期电力负荷快速预测方法，该方法将训练两个模型，一个是使用BIRCH并行化算法对历史负荷数据和天气数据进行聚类，得到一个用于异常检测的模型，另一个是使用基于spark技术的lightGBM算法对历史负荷数据和天气数据进行训练，得到一个负荷预测模型，然后这两个模型发送至Spark Streaming集群，用于对实时数据流的聚类和预测；在对实时数据流的聚类和预测中使用kafka集群接收从各种终端发送过来的电力负荷数据流，并将数据流传送到Spark Steaming集群处理，在Spark Steaming集群上完成实时特征提取及归一化处理，使用异常检测模型进行实时聚类，以发现是否有异常数据，然后利用非异常的负荷数据使用负荷预测模型预测下一个时间段的负荷值。

技术领域

本发明涉及电力负荷预测技术领域，具体涉及一种基于spark框架的短期电力负荷快速预测方法。

背景技术

随着国家电网的发展，智能用电终端和采集终端数量日益扩大，数据获取越来越便捷，使得各种类型的电力自动化数据出现几何级的增长，呈现出“体量大”、“类型多”、“密度低”和“增速快”的典型大数据特征。

电力系统负荷预测是电力系统各种安全技术措施的重要组成部分，它和继电保护、稳定计算、短路计算一样，对电力系统的安全、经济、稳定运行有着非常重要的作用。负荷预测是电网规划及经营工作的基础，准确的负荷预测有助于提高系统运行的安全性和稳定性，能够减少发电成本、可以保证规划的精确。

短期负荷预测是指周以内的负荷预测，可用于安排电力调度计划，包括负荷经济分配，电力系统安全性检测，设备检修等。在未来的多变且分布式电网场景中，短期负荷预测变得更加重要。对于短期负荷预测，现有的方法大多将研究的重点放在了对于预测模型的改进或者创新上，如使用创新的机器学习模型用于电力负荷预测、使用改进的机器学习模型用于电力负荷预测等，虽然基于数据驱动的智能模型精度越来越高，但是随着数据量和数据维度的增多，导致智能模型在精度提高的同时，模型的复杂度和训练时间指数级增加，甚至难以收敛。而且，传统的数据管理模式在面对海量数据的存储和处理时效率低下，传统用电负荷数据分析的模式仍是以静态离线数据分析为主，例如，将采集到的数据存储起来，然后定时对数据进行分析，这种方式存在与生产运行系统结合不紧密，不利于快速预测系统的负荷状况以及及时发现异常现象。在很多场景下，预测系统期望对实时到达的数据进行同步处理，以满足预测系统对实时性和动态扩展性的需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于spark框架的短期电力负荷快速预测方法，该方法使用spark框架将BIRCH算法并行化，克服了传统单机算法对大规模负荷数据聚类速度缓慢的问题，还使用kafka和spark streaming实现对电力负荷实时数据流的处理，数据处理后使用负荷预测模型进行预测，实现了对负荷的快速预测，且预测相比单机算法具有更高的精度和效率。

本发明的目的通过下述技术方案实现：

一种基于spark框架的短期电力负荷快速预测方法，包括下述步骤：

步骤一，利用spark技术实现BIRCH算法的并行化算法对历史数据进行聚类，具体如下：

(1)使用python爬虫收集某城市某一时间段内的历史电力负荷数据和对应的历史天气数据从而形成原始数据集，其中负荷数据的时间粒度为5分钟，天气数据时间粒度为1小时，并将其存储在HDFS上，该HDFS是一种Hadoop分布式文件系统；

(2)从HDFS中将原始数据集读取到spark集群的内存中转换为所需的弹性分布式数据集RDD，对数据进行缺失数据填充、数据归一化和特征提取，选择的主要特征有时间特征、温度、湿度、露点、天气状况、前两天的同期负荷值和前一天同期负荷值，最后生成训练样本集；

(3)将训练样本集数据分发给spark集群中的每个worker，每个worker在各自的分区建立自己的聚类特征树CF-Tree；