[发明专利]一种电网海量数据管理方法

说明书

本发明提供了一种电网海量数据管理方法，该方法包括：构建电网用户数据管理系统，将各个电网子系统采集到的数据进行整合，并利用并行计算框架对电网用户的数据进行挖掘和分析；基于所述数据管理系统，利用分布式负载预测算法实现并行负载预测。本发明提出了一种电网海量数据管理方法，将电网用户各系统的数据进行融合和集成，并将传统数据计算方法迁移到分布式平台中，满足海量数据的运算要求。

技术领域

本发明涉及智能电网，特别涉及一种电网海量数据管理方法。

背景技术

对电网用户实时数据的采集、传输和存储，并结合累积的海量多源历史数据进行快速分析能够有效的改善需求管理，对用户数据进行管理与处理支撑着智能电网安全、坚强及可靠运行。随着各类传感器和智能设备数量的不断增加，设备获取与传输的各类数据也在发生着指数级的增长，这些数据不仅包括智能电表收集的用电量，还包括各类传感器按照固定频率采集的温度、天气、湿度、地理信息和风速信息等。用户数据复杂程度增大。

我国发输电系统的技术与国外差别不大，但在配用电特别是用户端存在较大差异，由于相适应的市场机制尚未形成，中国实施智能用电技术的条件不够成熟，难以支持智能电力分配系统和用户管理系统的有效集成。总的来说，电网用户的海量数据管理存在如下挑战：智能电表和物联网技术的快速发展，使其产生的海量数据模态千差万别，各单位数据口径不一，加工整合困难。针对海量数据，如何构建一个模块来对其进行规范表达，如何基于该模块来实现数据整合是亟需解决的问题。由于数据的采集方式多种多样，各个通信信道质量不 一，不仅接收的数据质量低劣，而且对数据的管控能力也不足，从而导致利用这些低劣的数据进行挖掘分析发现的知识也是不科学的，不能做出精准的决策。这已经在全球范围内造成了恶劣后果，严重困扰着信息社会。数据类型复杂，传统的关系型数据库和文件存储格式已不能满足海量数据快速增长的需求。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种电网海量数据管理方法，包括：

构建电网用户数据管理系统，将各个电网子系统采集到的数据进行整合，并利用并行计算框架对电网用户的数据进行挖掘和分析；基于所述数据管理系统，利用分布式负载预测算法实现并行负载预测。

优选地，所述电网用户数据管理系统的架构分为应用层、数据分析计算层、数据管理层，利用Hadoop构建电网用户数据管理系统，在平台上采用HDFS、HBase建立数据存储系统，在平台上构建MapReduce并行计算框架和Storm内存并行计算框架作为海量数据计算分析系统，对电网用户的海量数据进行分析；所述数据管理层对数据进行采集和集成；所述数据采集包括从智能电表、数据采集监控系统和各种传感器中采集的数据，对这些数据的集成包括将数据迁移至集群服务器进行管理；在数据的集成过程中，采用数据转移工具对数据进行抽取和整合工作，将各个独立的系统产生的数据及历史数据利用数据转移工具抽取整合到HBase中，并使用java持久化工具对列 存储数据库进行操作，将基于分布式计算的应用产生的在线数据写入到HBase中；所述数据分析计算层用于海量数据的存储和计算分析；利用HBase存储电力负载数据和相关数据；利用并行计算模块MapReduce对海量数据进行并行批量计算分析，而对数据密集型的迭代计算采用基于内存的并行计算模块Storm，将业务所需数据读入内存，需要数据时直接从内存中查询。

优选地，所述基于所述数据管理系统，利用分布式负载预测算法实现并行负载预测，进一步包括：

利用3个MapReduce业务类执行算法的训练过程，每一个MapReduce的输出作为其后一个的输入，训练结束后得到的决策模块保存在Hadoop的分布式集群中，其分为三部分：生成数据字典；生成判定树；形成判定树集合；