[发明专利]一种SCADA分布式历史数据存储方法及系统

说明书

本发明公开了一种SCADA分布式历史数据存储方法及系统，系统中的每个数据点、存储节点都拥有一个唯一标识UUID。初始化过程中，存储管理节点将数据点相对均衡地分配给每个存储节点；如果系统运行过程中存储节点宕机，存储管理节点会将该节点分担的数据点根据分配算法重新分配给其它正常运行的存储节点；如果系统运行过程中增加数据点，存储管理节点也会根据分配算法将新增数据点分配给存储节点。存储节点从采集节点实时库获取数据点数据后保存到系统Hbase历史数据库中，初始化过程中，生成若干原始历史数据表；如果系统运行中数据点扩容或者数据表记录数达到阈值，将按照分表算法分割原来的数据表。本发明极大减少了人工操作、提高了整个系统的工作效能。

技术领域

本发明属于计算机技术领域，涉及一种历史数据存储方法及系统，具体涉及一种SCADA(数据采集与监视控制，Supervisory Control And Data Acquisition)分布式历史数据存储方法及系统。

背景技术

在大规模应用中，SCADA系统涉及的数据点很多，有时达百万级，其中很多点都需要进行历史数据存储，一般都会采用分布式架构、部署多个存储节点(从采集节点的实时库获取数据点数据，并保存到物理存储介质；采集节点：通过工业控制总线，采集PLC、RTU等工业控制装置的数据点实时数据，并保存到实时库。)，每个节点负责存储一部分数据点历史数据。但每个存储节点所负责的数据点一般都是先通过配置工具进行配置，这种配置过程随着设备和点位数目的增多越发繁复耗时，且如果存储节点出现故障不能存储历史数据，则需要将故障存储节点所负责的这部分数据点重新配置给其它正常运行的存储节点，这样会导致存储业务中断较长时间、效率较低。

另外，数据点历史数据通常会保存到传统的关系数据库中，但关系型数据库的冗余及多副本操作比较复杂；且随着数据量的增多，关系型数据库的扩展也比较费劲，还会出现读写性能下降。即使采用如Hbase分布式数据库，海量数据的存储也可能会出现读写性能下降，往往通过分表操作来改进，但这种操作多半需手动进行，存储可扩展性较差。

发明内容

为了解决上述技术问题，本发明提供了一种SCADA分布式历史数据存储方法及系统。

本发明的方法所采用的技术方案是：一种SCADA分布式历史数据存储方法，其特征在于：包括数据点分配方法及历史数据入库方法；

所述数据点分配方法，具体实现包括以下步骤：

步骤A1：生成数据点UUID和存储节点UUID，其中UUID表示通用唯一识别码；

步骤A2：对存储节点UUID进行排序编号；

步骤A3：计算数据点UUID目标位数值；

步骤A4：根据数据点与存储节点映射关系分配数据点到存储节点；

步骤A5：存储管理节点根据存储节点运行状态重新分配数据点；其中存储管理节点为存储节点管理者，给存储节点分配数据点；

所述历史数据入库方法，具体实现包括以下步骤：

步骤B1：生成数据点UUID；

步骤B2：选择数据点UUID目标位最大值和区间长度进行分区，得到若干分区节点；

步骤B3：根据分区节点生成Hbase原始历史数据表；

步骤B4：根据数据点UUID目标位数值将数据保存到对应历史数据表；

步骤B5：根据历史数据表记录数上限值分割当前历史数据表。