[发明专利]一种基于storm输电监测数据处理方法

说明书

本发明公开了一种基于storm输电监测数据处理方法，所述方法包括：将电力系统的数据采集后定期存入FTP服务器，在Storm前添加消息队列Kafka；对所采集到的数据进行判断，判断其是否满足数据处理要求，如果不满足，则进行数据预处理操作，以获得合格数据；对合格数据使用Storm进行处理分析，并将结果存入HBase。针对电力系统流数据的持点及处理需求，本发明提出基于Storm的实时数据处理方案，添加Kafka消息队列辅助数据采集、在对数据进行格式化去重等预处理操作后，再进行数据处理，最后将结果存入HBase，从而能够快速、准确地对电力系统数据进行处理。

技术领域

本发明涉及电力数据处理，具体涉及一种基于storm输电监测数据处理方法。

背景技术

人类已进入大数据时代，目前对大数据并没有统一的定义，通常指有3V特点的数据，即规模大、种类多样和速度快，传统的分析处理方法无法满足要求。电力是社会发展的基础产业，运行过程中的产生大量数据。近年来，随电力信息化的发展，建成了一批智能管理系统，例如智能变电站、智能电表、在线监测系统等。但是，电力系统地理位置广泛、实时平衡、持续运行等特殊性，使得对数据的处理时限要求很髙。

Apache的开源项目Hadoop是目前应用较广泛的大数据技术，它适合批量离线数据的分析、处理，其处理模型MapReduce并不适合处理实时大数据，因而不满足电力系统低延巧，快速响应的要求。分布式流处理技术的发展使人们有方法实时分析大量流数据。Storm是由Twitter开源的分布式实时计算系统，由于其易于部署、可扩展。容错性好等特点，正逐渐代替集中架构，成为未来研究的方向。

近年，电力系统中积累的数据量快速増长。由于大数据价值的稀疏性，出现数据多但信息麼乏的现象，仍然采用传统的数据处理方式很难从海量的数据中获得有价值的信息。采用什么技术对连续、大量、实时的电为大数据进行分析挖掘，是目前亟待解决的问题。大数据目前主要应用在互联网及商业领域，在智能电网中的研巧中还有待加强。目前最为流行的Hadoop MapReduce数据处理技术注重系统的高吞吐量，最为擅长的是离线海量数据的统计分析，更适合对大量历史数据进行批处理。由于Hadoop本身的特性，导致在使用Hadoop处理大数据时，响应时间没有保证，结果的获取往往是要延巧几分钟甚至是几个小时，这在电力系统的很多场景下都是不可接受的。

发明内容

本发明的目的在于克服上述背景技术所存在的至少一技术问题，提供一种基于storm输电监测数据处理方法。

为实现上述目的，本发明的技术方案是：

一种基于storm输电监测数据处理方法，所述方法包括：

将电力系统的数据采集后定期存入FTP服务器，在Storm前添加消息队列Kafka；

对所采集到的数据进行判断，判断其是否满足数据处理要求，如果不满足，则进行数据预处理操作，以获得合格数据；

对合格数据使用Storm进行处理分析，并将结果存入HBase。

进一步地，所述进行数据预处理操作包括：

数据格式化：根据传感器的类型实现相应的解析方案，并对数据中的空值、噪声数据进行处理；

去除冗余信息：根据实际业务选择保留有用的字段，使数据变得精简，以提高性能；

判断是否将数据存入历史数据库以及生成日志记录，之后将合格数据传给数据处理模块进行处理。

进一步地，所述对合格数据使用Storm进行处理分析包括：

数据流分组，以保证数据在Topology中的各组件之间能够进行交换和处理，包括7种分组方式，分别为随机分组、按字段分组、广播分组、全局分组、不分组、直接分组、自定义分组。