[发明专利]一种基于spark框架的短期电力负荷快速预测方法

摘要

本发明公开了一种基于spark框架的短期电力负荷快速预测方法，该方法将训练两个模型，一个是使用BIRCH并行化算法对历史负荷数据和天气数据进行聚类，得到一个用于异常检测的模型，另一个是使用基于spark技术的lightGBM算法对历史负荷数据和天气数据进行训练，得到一个负荷预测模型，然后这两个模型发送至Spark Streaming集群，用于对实时数据流的聚类和预测；在对实时数据流的聚类和预测中使用kafka集群接收从各种终端发送过来的电力负荷数据流，并将数据流传送到Spark Steaming集群处理，在Spark Steaming集群上完成实时特征提取及归一化处理，使用异常检测模型进行实时聚类，以发现是否有异常数据，然后利用非异常的负荷数据使用负荷预测模型预测下一个时间段的负荷值。