[发明专利]一种大规模电力设备监测报警数据实时处理方法及系统

摘要

一种大规模电力设备监测报警数据实时处理方法及系统,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统，其对监测数据的处理过程包括：1)负责报警数据接收与分发的数据收集服务器集群，2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现；3)特征提取模块基于SparkStreaming实时数据处理技术实现；4)模式识别模块基于SparkStreaming实时数据处理技术实现；5)机器学习模块基于Spark大数据技术实现。其实现了应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法，可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。

主权项

一种大规模电力设备监测报警数据实时处理方法,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统，其特征在于，对监测数据的处理过程包括：1)负责报警数据接收与分发的数据收集服务器集群，是采用高可扩展性的分布式集群，使用分布式Kafka软件实现订阅式的消息接收与发布，设置有冗余的多条优先级队列；2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现，接收来自Kafka实时转发的监测数据流，以内存计算的方式，使用SparkStreaming阈值处理程序对监测数据值进行越线判别，对未越线数据，推送至HBase存储；对于越线数据，发送至特征提取模块，执行步骤3)的数据处理；3)特征提取模块基于SparkStreaming实时数据处理技术实现，接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据，使用预定的特征提取算法和预处理方法，计算数据特征，用于步骤4)的异常数据模式识别；4)模式识别模块基于SparkStreaming实时数据处理技术实现，接收来自特征提取模块的待测特征样本，利用来自步骤5)的机器学习算法模型，对特征样本进行实时的模式识别；将分类结果数据存入HBase，更新样本库，当新增样本数量超过阈值x，触发全量的数据训练过程；5)机器学习模块基于Spark大数据技术实现；由用户为机器学习任务配置调度策略，使机器学习任务按照固定周期执行；或者，由SparkStreaming模式识别模块来触发新的训练任务，训练接收后将产生新的模型，并将新模型发送至模式识别模块进行模型更新。