[发明专利]一种大规模电力设备监测报警数据实时处理方法及系统

说明书

一种大规模电力设备监测报警数据实时处理方法及系统,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统，其对监测数据的处理过程包括：1)负责报警数据接收与分发的数据收集服务器集群，2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现；3)特征提取模块基于SparkStreaming实时数据处理技术实现；4)模式识别模块基于SparkStreaming实时数据处理技术实现；5)机器学习模块基于Spark大数据技术实现。其实现了应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法，可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。

技术领域

本发明涉及电力设备监测领域，尤指种一种大规模电力设备监测报警数据实时处理方法及系统。

背景技术

随着电网规模增长迅速，电网结构越来越复杂，信息化与电力生产深度融合，智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势，监测数据变得日益庞大，设备中进行获取与传输的监测数据成几何级增长。电力设备在线监测系统在数据存储、查询和数据分析等方面面临巨大的技术挑战。如何对电力设备监测大数据进行高效、可靠地存储，并快速访问和分析，是当前电力信息处理领域和大数据处理领域重要的研究课题。

当前，电力设备监测大数据的特点和所面临的技术挑战包括：

(1)电力设备状态监测数据的规模非常巨大，从TB级别往PB级别发展。

在线监测系统的计算处理速度及响应时间受限于硬件性能，在发生电网故障情况下，短时间内大量数据若得不到及时处理，可能面临信息延迟甚至丢失的风险。

(2)处理速度快。

对海量的输变电设备监测历史数据进行离线分析处理的过程包括数据清洗、格式转换、信号去噪、特征提取、模式识别等，任何一个环节处理速度慢，都会成为应用系统的性能瓶颈。因而数据处理平台要能够提供并行化、高吞吐量、批处理的能力。而且除历史数据的离线分析处理外，其他的一些应用场景，包括：Ad Hoc数据分析查询、监测大数据流式处理]等，都对系统的数据处理速度提出了挑战。

(3)数据存储与处理平台的架构。

如何根据输变电设备监测大数据的特点和应用需求，选择、组合、合理利用现有大数据技术(Hadoop、Spark、多核计算、云计算等)构建高可靠性及高可用性的分布式存储与计算平台，并利用并行计算技术(MapReduce、MR2、MPI等)，满足海量历史数据查询分析、数据挖掘、在线服务等各类计算任务性能需求，助力电力大数据价值释放极具挑战性。

由于常规的数据存储与管理方法大都构建在大型服务器、磁盘阵列(存储硬件)以及关系数据库系统(数据管理软件)上，系统扩展性差、访问性能低下、成本高，面对上述挑战，其在存储和处理监测大数据时遇到了极大的困难。

因而发明人考虑，应对这些挑战，需要综合运用包括批量计算、在线计算和流式计算等场景的大数据处理工具来应对。本发明综合考虑上述挑战，设计实现了一种大规模电力设备监测报警数据实时处理方法。

发明内容

为解决上述技术问题，达到实现了一种大规模电力设备监测报警数据实时处理的目的。

本发明提供了一种大规模电力设备监测报警数据实时处理方法,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统，其对监测数据的处理过程包括：

1)负责报警数据接收与分发的数据收集服务器集群，是采用高可扩展性的分布式集群，使用分布式Kafka软件实现订阅式的消息接收与发布，设置有冗余的多条优先级队列；