[发明专利]一种基于HBase的智能电网时标量测数据存储方法

说明书

技术领域

本发明涉及一种智能电网时标量测数据的存储方法，具体是涉及一种基于HBase的智能电网时标量测数据存储方法。

背景技术

智能电网时标量测数据是电网应用中十分重要的数据，作为智能电网四大数据类型的重要组成部分，是智能电网设备状态监测、辅助决策分析、大数据挖掘等的重要基础。当前，智能电网时标量测数据存储的主要特点是：(1)时标量测数据量大，存储周期跨度长；(2)数据格式固定；(3)数据加载吞吐量要求高；(4)访问模式以断面和批量查询为主；(5)对于数据存储稳定性要求高；(6)历史数据规模不断增大，应用的丰富性和互动性不断增强，对历史数据的访问需求越来越高。

针对时标量测数据的以上特征，需要提出一种新型的智能电网时标量测数据存储方法。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于HBase的智能电网时标量测数据存储方法，可以大幅度提升时标量测数据的加载和访问性能，同时提升数据存储的可靠性，目的在于解决：(1)数据规模大、数据产生持续性强的时标量测数据的高速加载；(2)以时间为维度的断面数据(多个量测点在同一个时刻上的数据集合)和批量数据(单个量测点在多个时刻上的数据集合)的快速访问；(3)高可靠的数据加载方法。

技术方案：为实现上述目的，本发明的一种基于HBase的智能电网时标量测数据存储方法，包括以下步骤：

S1根据量测点的时标和业务模型建立时标量测数据存储模型；

S2采用WAL(Write-Ahead Logging)技术—预写式日志技术完成对数据记录的加载从而实现将请求加载的数据全部加载到存储模型中；

S3根据量测点规模和数据产生频率，建立数据分区机制，当存储模型中数据量达到分区条件时，实现动态预分区。

进一步地，所述步骤S1包括以下步骤：基于分布式列式数据库HBase存储结构，设计行键结构为<CC+DT+YMDHMS+MT>，其中CC为地市编码，DT为变电站编码，YMDHMS为年月日时分秒，MT为量测类型；设计列键结构为<MID>，其中MID为设备编码。

进一步地，所述步骤S2包括以下步骤：

首先完成数据记录的加载过程，将请求加载的数据记录顺序写入一个日志文件中；

然后再将请求加载的数据加载至存储模型进行存储操作；

当在数据加载过程中，出现断电、崩溃和其他异常时，通过重新扫描所述日志文件实现将内存中未成功写入数据存储模型的数据进行重新加载。

有益效果：本发明与现有技术比较，具有的优点是：

针对数据规模大、数据产生持续性强的时标量测数据，实现数据高速加载，满足时标量测数据快速加载；

采用WAL技术，确保系统异常崩溃时，可通过日志文件快速恢复数据，提升数据加载的可靠性；

设计了一种智能电网时标量测数据的列式存储模型，采用聚簇思想，根据时标和业务模型建立存储单元，确保少量数据连续访问，同时进行数据压缩，减少磁盘I/O，提升数据访问性能；

根据量测点规模和数据产生频率，建立灵活的数据分区机制，确保大量数据分布式访问，提升数据访问性能。

附图说明

图1是存储模型结构示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明针对智能电网时标量测数据存储特点，提出了一种基于HBase的智能电网时标量测数据存储方法，主要包括以下步骤：

根据量测点的时标和业务模型建立时标量测数据存储模型；

采用WAL(Write-Ahead Logging)技术即预写式日志技术完成对数据记录的加载从而实现将请求加载的数据全部加载到内存中的存储模型文件中；

根据量测点规模和数据产生频率，建立数据分区机制，当内存中存储模型文件中存储数据量达到分区条件时，即实现动态预分区。

下面分别对上述步骤进行具体说明：

根据量测点的时标和业务模型建立时标量测数据存储模型：

本发明方法基于分布式列式数据库HBase存储结构，如图1所示，设计Row Key即行键结构为<CC+DT+YMDHMS+MT>，其中CC表示地市编码，DT表示变电站编码，YMDHMS表示年月日时分秒，MT表示量测类型；设计Column Key列键结构为<MID>，其中MID表示设备编码，图1中Value表示数据值，即量测点量测数据值；