[发明专利]一种基于storm输电监测数据处理方法

权利要求书

1.一种基于storm输电监测数据处理方法，其特征在于，所述方法包括：

将电力系统的数据采集后定期存入FTP服务器，在Storm前添加消息队列Kafka；

对所采集到的数据进行判断，判断其是否满足数据处理要求，如果不满足，则进行数据预处理操作，以获得合格数据；

对合格数据使用Storm进行处理分析，并将结果存入HBase。

2.如权利要求1所述的基于storm输电监测数据处理方法，其特征在于，所述进行数据预处理操作包括：

数据格式化：根据传感器的类型实现相应的解析方案，并对数据中的空值、噪声数据进行处理；

去除冗余信息：根据实际业务选择保留有用的字段，使数据变得精简，以提高性能；

判断是否将数据存入历史数据库以及生成日志记录，之后将合格数据传给数据处理模块进行处理。

3.如权利要求1或2所述的基于storm输电监测数据处理方法，其特征在于，所述对合格数据使用Storm进行处理分析包括：

数据流分组，以保证数据在Topology中的各组件之间能够进行交换和处理，包括7种分组方式，分别为随机分组、按字段分组、广播分组、全局分组、不分组、直接分组、自定义分组。

4.如权利要求3所述的基于storm输电监测数据处理方法，其特征在于，所述随机分组为将Tuple随机分配，使得同一级螺栓中每个任务处理的Tuple一样多；

所述按字段分组为根据Tuple中段的值来划分，将数据流中此字段具有相同值的Tuple分发到一个任务中；

所述广播分组为所有的Tuple都会被分发到所有的Task上；

所述全局分组为整个Stream会选择一个Task作为分发的目的地，该目的地为具有最新ID的Task；

所述不分组，等同于随机分组。

5.如权利要求3所述的基于storm输电监测数据处理方法，其特征在于，所述直接分组：为产生数据的Spout、Bolt自己明确决定这个Tuple被Bolt的哪些Task消费，如果使用直接分组，需要使用outputcollector的emitDirect方法来实现；

所述自定义分组为通过实现back.type.storm.grouping.CustormStreamGouping接口可创建自己需要的分组策略，使用户自行决定每个Tuple会被哪些BOlt进行处理。

6.如权利要求3所述的基于storm输电监测数据处理方法，其特征在于，所述对合格数据使用Storm进行处理分析还包括实时数据无损处理：

Storm采用Ack框架对Topology中的消息进行跟踪：

Storm中每条发送出去的消息都会对应一个随机的消息ID，Spout发送消息后，将向Acker Bolt发送一条消息，该消息的内容为＜RootID，消息ID＞，Acker Bolt将为该消息创建一条跟踪项；Bolt产生新的消息时，会计算其ID，并将ID发送至Acker Bolt，Acker Bolt对消息ID异或后存储，于是Storm对新发送的消息进行了跟踪；Bolt对输入的消息进行Ack时，也会将该消息ID发送到Acker Bolt，Acker Bolt同样进行异或后存储，由于该消息在被发送时，已经向Acker Bolt发送过消息ID，之后在被Ack时又再次发送该消息ID，根据异或的语义。

7.如权利要求1所述的基于storm输电监测数据处理方法，其特征在于，所述HBase为一表的存储结构。

8.如权利要求7所述的基于storm输电监测数据处理方法，其特征在于，所述HBase表包括RowKey，用于检索采样数据，由监测点传感器Mac地址与通道ID构成。

9.如权利要求7或8所述的基于storm输电监测数据处理方法，其特征在于，所述HBase表中每行数据都带有时间戳，代表该数据的采集时间，数据插入数据库时自动生成。

10.如权利要求9所述的基于storm输电监测数据处理方法，其特征在于，所述HBase表的列由列族构成，列族包含多列。