[发明专利]面向电网的SCADA历史数据分布式存储的实现方法

说明书

技术领域

本发明属于电力系统控制技术领域，具体涉及一种面向电网的SCADA历史数据分布式存储的实现方法。

背景技术

SCADA历史数据来自对SCADA应用实时数据点的采样，在电网逐渐连成一体的趋势下，其电网规模将越来越大，SCADA历史数据将以指数级增长从而达到海量，现有商用关系库将无法满足海量数据存储和高效访问需求。

发明内容

针对现有技术的不足，本发明提供一种面向电网的SCADA历史数据分布式存储的实现方法，支持海量scada历史数据的分布式存储和反向查询，并且具有良好的扩展性。

本发明提供的面向电网的SCADA历史数据分布式存储的实现方法，其改进之处在于，前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库。

其中，数据以不同的采样频率刷入开源分布式数据库时，根据频率不同，对应开源分布式数据库中的表结构不同。

其中，所述采样频率包括分钟级，其对应的表结构形式为：

同一地区的数据放在相邻行，数据按照键值对（Rowkey,value）形式存储；

数据表的行关键字为域号、日期和原id；

数据表的列族内容设置为hisdata；其中hisdata包括manalog data、manalogquality、code和name。

其中，所述采样频率包括秒级，其对应的表结构形式为：

同一地区的数据放在相邻行，数据按照键值对（Rowkey,value）形式存储；

数据表的行关键字为域号、日期和原id；

数据表的列族内容设置为value。

其中，所述批量存储数据，是通过基于开源分布式数据库接口重新封装的批量写接口实现的。

其中，所述反向查询是通过基于开源分布式数据库接口重新封装的反向按地区、按时间查询接口实现的。

与现有技术比，本发明的有益效果为：

1.本发明实现了不同地区、不同日期scada历史数据统一存储；

2.本发明支持海量scada历史数据的分布式存储；

3.本发明大数据的快速查询分析能力；

4.本发明开源分布式数据库底层是分布式文件系统，数据以块为单位，按一定备份数目存储在不同机架上，实现了支持多副本容错功能。

5.本发明支持分布式计算；

6.本发明具有良好的扩展性。

附图说明

图1为本发明提供的Hbase表逻辑视图。

图2为本发明提供的SCADA历史数据存储业务流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

面向大电网的SCADA历史数据分布式存储采用一种分布式的、面向列、高可靠性、高性能、可伸缩、版本化的开源数据库Hbase来存储SCADA历史采样数据。SCADA历史采样数据特征为数据量大、带时标，这和HBase分布式存储、带时间戳不谋而合。HBase表结构与关系库表结构不同，逻辑视图如图1所示，虽然Hbase仍以表的形式存储数据，但列划分为若干个列族(column family)，表的索引是行关键字，列关键字和时间戳。此外，HBase是不支持SQL语言的，也无批量写和查询接口。因此，把SCADA历史采样数据写入分布式数据库HBase以及反向查询必须重新编写接口。

本实施例的面向电网的SCADA历史数据分布式存储的实现方法，是指前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库，如图2所示。

数据以不同的采样频率刷入开源分布式数据库时，根据频率不同，对应开源分布式数据库中的表结构不同。其中：采样频率包括分钟级和秒级；

分钟级采样

在原关系库中，分钟级采样每天会产生三张表：遥测表、遥测质量表、遥信表。每个采样点对应历史库的一行数据，该行数据含1442列（24×60=1440）。

表1分钟级采样表格模式示意-关系库

说明：