[发明专利]一种大规模电力设备监测报警数据实时处理方法及系统

权利要求书

1.一种大规模电力设备监测报警数据实时处理方法,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统，其特征在于，对监测数据的处理过程包括：

1)负责报警数据接收与分发的数据收集服务器集群，是采用高可扩展性的分布式集群，使用分布式Kafka软件实现订阅式的消息接收与发布，设置有冗余的多条优先级队列；

2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现，接收来自Kafka实时转发的监测数据流，以内存计算的方式，使用SparkStreaming阈值处理程序对监测数据值进行越线判别，对未越线数据，推送至HBase存储；对于越线数据，发送至特征提取模块，执行步骤3)的数据处理；

3)特征提取模块基于SparkStreaming实时数据处理技术实现，接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据，使用预定的特征提取算法和预处理方法，计算数据特征，用于步骤4)的异常数据模式识别；

4)模式识别模块基于SparkStreaming实时数据处理技术实现，接收来自特征提取模块的待测特征样本，利用来自步骤5)的机器学习算法模型，对特征样本进行实时的模式识别；将分类结果数据存入HBase，更新样本库，当新增样本数量超过阈值x，触发全量的数据训练过程；

5)机器学习模块基于Spark大数据技术实现；由用户为机器学习任务配置调度策略，使机器学习任务按照固定周期执行；或者，由SparkStreaming模式识别模块来触发新的训练任务，训练接收后将产生新的模型，并将新模型发送至模式识别模块进行模型更新。

2.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于，在步骤1)中，所述数据收集服务器集群的冗余度默认设置为2。

3.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于，在步骤2)中，同时选择对HBase存储数据进行数据可视化处理。

4.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于，在步骤1)中，当报警事件或监测数据进入Kafka时，对处于不同级别的报警和监测数据分别发送至与之级别匹配的消息队列，根据冗余度R，将消息发送至R条消息队列；对高优先级的优先向下转发；数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理；实时监测数据分发到异常检测模块，报警数据分发至特征提取模块。

5.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于，数据收集服务器集群与Storm云平台之间、以及Storm和Spark云平台内部的节点服务器之间采用千兆或万兆以太网交换机连接。