[发明专利]一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统

说明书

技术领域

本发明涉及电力海量数据存储查询领域，具体为一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统。

背景技术

目前大部分电网企业用企业级关系数据库进行数据的集中存储。关系型数据库以及所采用的按行存储模式，能够进行多条件的查询，但支持的数据量规模小，不能满足电网状态监测数据的海量存储需求；当存储的数据量较大时，查询性能下降明显，不能很好的适应状态监测大数据的准实时处理应用需求。

Hadoop提供了一个分布式的数据库系统HBase，HBase的目标是存储并处理海量数据，是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统，能够对海量数据提供随机、实时的读写访问。但是HBase介于nosql和RDBMS之间，仅能通过主键(RowKey)和主键的range来检索数据，仅支持单行事务。用户在使用电网设备状态监测系统时，通常需要利用多个条件对监测数据进行综合查询。因此如何采用统一的模型对电网海量数据进行高效、可靠地存储，并快速访问和分析，需要对HBase逻辑存储模式和查询方法进行有效的设计。

发明内容

本发明针对电力海量监测数据的存储查询统计分析需求，基于Oracle和HBase提出了一种新的基于主题实例的统一模型的电力海量数据的存储和查询方法及其系统，以支持电力海量监测数据的可靠存储，快速实时查询及其聚合统计分析。

本发明是通过如下技术方案来实现的。

一种基于主题实例的电力海量数据存储和查询统计分析系统，该系统采用监测终端传感器通过消息队列集群分别与WebSocket数据推送平台、Jstorm实时数据处理平台连接，WebSocket数据推送平台与前端数据展示系统连接；Jstorm实时数据处理平台与数据仓库连接,数据仓库分别通过统计分析引擎、实时数据查询引擎与前端数据展示系统连接。

一种根据上述基于主题实例的电力海量数据存储和查询统计的分析方法，本发明特征在于，步骤为：

步骤200 监测终端传感器发送数据到消息队列服务器集群；

步骤S201 消息队列服务器接收到数据；

步骤202 消息队列服务器接收到数据以后，一方面通过WebSocket数据推送将数据实时推送至系统前端实现数据实时可视化监控；

步骤203 另一方面将数据推送到Jstorm实时数据分析处理平台进行数据清洗；

步骤204 加工之后存入数据仓库；

步骤205 组合查询条件实时查询引擎；

步骤206 聚合统计分析引擎；

步骤207 系统前端展示平台通过组合查询条件实时查询引擎，能够快速访问数据仓库中的数据，或者通过聚合统计分析引擎对数据仓库中的数据进行统计分析。

本发明统计分析方法中，基于主题实例的电力海量数据存储是采用将电力海量数据分成静态数据和电网运行数据，将电网设备台账、设备技术参数、监测终端信息以及终端监测属性等静态数据以结构化的方式建立主题实例模型；将电网运行数据基于列式存储方案存储在HBase列式数据库中。

本发明统计分析方法中，监测终端传感器监测将一组监测数据发送回来的时候就根据监测终端监测属性以及设备台账实例化一个实例，通过MD5加密设备ID取前两位+主题实例ID+(Long.Max_Value-timestamp)作为HBase存储数据的行健RowKey，建立一个列族f1,以电网运行时的监测属性作为列，将电网运行时的监测数据存储在HBase列式数据表中。

本发明统计分析方法中，所述HBase表包括行健、时间戳和列族，列族包括监测主题对应的所有监测属性。

本发明统计分析方法中，统计分析引擎在接收到系统前端或者客户端发送过来的请求是提取查询参数，根据所述主题实例ID，监测属性ID以及HBase行健生成规则生成行健查询范围，以及列族，版本号和列信息；根据所述过滤查询字段以及协处理器聚合方式创建对应的过滤器；调用HBase的数据访问接口，从与所述表名对应的表内查找所述行健查询范围或者行健以及监测属性ID，利用所述聚合函数对对应的行健查询范围内的数据进行聚合统计；将所述过滤器过滤后的聚合统计结果返回给客户端。

本发明的有益效果是，提供统一的模型对电网设备状态监测进行高效、可靠地存储，并快速访问和分析，降低开发成本，提高开发效率。

附图说明

图1为本分系统的整体架构概要图；

图2为本发明系统提供的基于主题实例的电网海量数据存储流程图；