[发明专利]一种海量电力计量数据的快速检索方法

说明书

技术领域

本发明涉及集群管理、云存储服务、云数据库服务、数据查询、监控管理、信息快速检索等领域，具体为一种基于云计算技术的电力计量数据快速检索方法。

背景技术

近年来，电网公司不断投入电能计量自动化系统的建设，各供电局已基本建成了涵盖各种计量点及采集终端的集信息采集、监控、分析和计量管理于一体的计量自动化应用平台，完成了对电厂、变电站、公变、专变、低压集抄等发电侧、供电侧、配电侧、售电侧的综合性统一数据的自动采集监。供电企业的抄表结算、电能计量管理、营销管理、线损管理、错峰管理、节能及优质服务等多项核心业务从手工人工水平发展到系统自动化水平，实现对居民用电的远程集中抄表功能。计量自动化系统与营销管理系统、生产调度系统等均不同程度的通过数据接口实现了数据共享。规范了计量现场管理，提高了计量准确率，为供电企业经济运行、配网生产管理、线损管理、电力营销服务提供了先进的技术手段，提高了营销管理自动化、信息化水平。然而，随着系统的日趋完善和计量数据的积累，如何快速、有效地对计量数据进行检索，已经成为当前电力企业越来越迫切想要解决的问题，如用电异常分析中最为直接和最为重要的指标是线损异常，而线损异常分析需基于采集终端及相关计量系统收集到的电流、电压、功率因素、表码等数据，这些数据每日上亿数据，每年几百亿，要对这类海量数据进行存储，还要对数据进行快速检索，传统技术很难处理，目前的关系型数据库到1亿条的数据量将难以有效的进行管理和检索查询。因此以往关系型数据库完全不能满足需求，要能实现数据快速的检索并支持模糊查询，需要用到云计算相关技术。

本发明针对区计量主站系统的各类数据，研究电力计量信息的快速检索方法，设计基于云计算技术的运算平台。采用LVS(Linux Virtual Server)技术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS（Hadoop Distributed File System）；云存储数据库建立基于HBase(Hadoop database)，使用Hive进行结构化存储和检索，并提供相应的数据服务接口；搭建Ganglia监控，实时监控各个节点的状态、性能、网络。

发明内容

本发明的目的是提供一种基于云计算技术的海量电力计量数据的快速检索系统，以解决现有计量数据量大，难以进行有效的电力管理和检索查询等问题。

为了达到上述目的，本发明所采用的技术方案为：

一种海量电力计量数据的快速检索方法，它包括终端、数据采集层和数据层，其特征在于包括：

数据采集层直接面对电力终端，通过光纤专网、无线网络、短信通信塔和相应的通讯方式与终端进行数据交互。

所述的终端主要由负控终端、厂站终端、配网终端和集抄终端，以及相关数据采集设备组成，负责采集电力相关数据；其中，负控终端、厂站终端和配网终端通过无线网络与数据采集层通信；集抄终端通过短信通信与与数据采集层通信。

所述的数据层包括数据库服务器，通过GPRS，SMS，CDMA，光纤，电力载波，电话拨号等通信方式与数据采集层及数据应用层联系。

所述的数据采集层采用“集群前置机”结构，含若干台前置机、一个短信服务器和一个前置路由器形成集群前置机，是前置采集部份。

所述的数据应用层包括一组由含计算机构成的服务器节点、交换机、路由器和用户端，其中节点主要有主节点、从节点、和若干节点，各节点通过路由器、交换机连接到高速的局域网或者地理分布的广域网上，并与数据层的数据库服务器连接；主节点负责负载调度（Load Balancing Scheduler），将用户发出的请求调度到各服务器节点上，从而使得服务器集群的结构对客户是透明的，用户端访问集群系统提供的网络服务就像在访问一台高性能、高可用的服务器一样。

本海量电力计量数据的快速检索方法，基于云计算技术的运算平台，采用LVS技术，实现采集与导入节点机的集群管理；云存储平台采用Hadoop分布式文件系统HDFS，存储数据以及存储云数据库元数据；云存储数据库建立基于HBase，使用Hive进行结构化存储和检索，提供相应的数据服务接口；可通过数据检索服务，快速对实时负荷、电流电压、负载率的快速检索；搭建Ganglia监控，以实时监控各个节点的状态、性能、网络。用户端实现对电流、电压、功率因素、表码等相关数据快速检索可通过下面步骤完成：

步骤1：计量数据抽取，包括以下子步骤：

S1.1：确定抽取数据