[发明专利]一种海量电能质量数据的存储管理方法及系统

说明书

技术领域

本发明公开一种数据的存储管理方法，特别是一种海量电能质量数据的存储管理方法及系统，主要应用于电能质量海量数据管理领域，同时对通用系统的海量数据管理也有极大的实用性。

背景技术

电能质量是衡量电网传输电能优劣的一个重要标准，对电网稳定以及安全经济运行，线损和居民用电以及电能计量设备的准确度和使用寿命有直接影响。为了检测反映电网传输的电能质量，近十年来，出现了能自动监测电网线路状态的电能质量监测终端设备。这些设备除了自身可以实时显示当前监测点电网质量状态、实时告警的功能外，还提供了灵活的通讯接口，可以与外部计算机进行通讯，将自己监测的数据上传到外部计算机系统中进行存储，从而可以提供更友好强大的全网综合统计分析、告警、历史状态查询等功能，进一步增强了数据监测的方便性，实用性，促进了电力事件的发展。

近年来，由其电能质量监测设备在电网系统中部署的数量越来越多，关注电能质量的电网部门级别也越来越高，由原来的县市一级，上升到省，乃至全网实行统一电能质量监测管理，导致需要存储的数据量越来越大，以1000个监测点为例，一年的数据量就至少超过1T，这不仅仅需要高昂的磁盘阵列存储硬件设备的投入，同时使得数据维护起来越来越困难，系统响应性能越来越慢，给日常工作带来很大不便。

发明内容

针对上述提到的现有技术中的电能质量监测设备投入较多，维护困难的缺点，本发明提供一种新的海量电能质量数据的存储管理方法及系统，其通过对原始电能质量监测数据进行二进制转换并压缩存储，并使用ORACLE内存表实现对数据库的透明访问，以解决目前涉及电能质量海量数据访问占用存储空间过大，访问性能不佳的问题，可以节省70%以上的数据存储空间,在为用户节约硬件成本的同时，也提高了应用业务的访问响应性能,是一种易用高效的海量数据存储管理技术。

本发明解决其技术问题采用的技术方案是：一种海量电能质量数据的存储管理方法，该存储管理方法包括下述步骤：

（1）、电能质量监测终端采集原始监测数据；

（2）、原始监测数据被通讯服务器进行转换压缩处理；

（3）、压缩后的数据块存储到ORACLE数据库；

（4）、在应用服务需要访问ORACLE数据库中的监测数据时，ORACLE数据库中的数据块读出经解压解析后以内存表的形式呈现，通过PL/SQL查询语句或存储过程访问内存表，从而实现应用服务对ORACLE中存储数据的透明访问。

一种海量电能质量数据的存储管理系统，该系统包括电能质量监测终端、通讯服务器、ORACLE数据库和应用服务访问模块，电能质量监测终端用于采集原始监测数据；通讯服务器用于接收原始监测数据，并对其进行转换压缩处理；ORACLE数据库用于存储数据块；应用服务访问模块用于将ORACLE数据库中的数据块读出，并经解压解析后以内存表的形式呈现。

本发明解决其技术问题采用的技术方案进一步还包括：

所述的原始监测数据被通讯服务器进行转换压缩处理时，将原始监测数据转换成二进制数据，再压缩成GZIP格式。

所述的电能质量监测仪采集过来的原始监测数据，存入临时数据库中，临时数据库存只有当日数据，在每天0点执行清空非当日数据任务。

所述的通讯服务器设有一个以上，形成通讯服务器群组，各个通讯服务器均衡负载。

所述的数据解压转换处理时，数据块从ORACLE数据库读出后，使用ORACLE的UTL_COMPRESS实用包进行GZIP解压，然后通过PL/SQL程序段，将二进制数据块解析为ORACLE对象集合，转换为对象集合后，通过使用TABLE函数构造为内存表，供PL/SQL存储过程或SQL语句透明访问。

所述的通讯服务器设有一个以上，形成通讯服务器群组，各个通讯服务器均衡负载。

所述的通讯服务器对原始监测数据进行转换压缩处理时，将原始监测数据转换成二进制数据，再压缩成GZIP格式。

本发明的有益效果是：与现有非转换压缩存储技术比较，本发明具有如下优点：1.数据存储容量可减少了70%以上，降低了昂贵的存储硬件费用开销。2.提高了数据查询统计的性能，对涉及较长时间的统计查询更为明显，查询统计响应时间可提高5倍以上。3.数据库容量变小，提高了数据库日常维护的方便性。

下面将结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明专利实施方案整体实现流程图。