[发明专利]一种基于大数据技术的电能质量监测系统构建方法

说明书

技术领域

本发明属于电能质量监测领域，具体地说是涉及一种基于大数据技术的电能质量监测系统构建方法。

背景技术

电能质量监测是改善电网电能质量水平的重要环节。随着现代网络技术、光纤通信技术及标准化协议等深入发展，并能为数据采集、远距离传输与共享、及时分析提供成熟的技术支撑，网络化的电能质量监测系统已成为电能质量监测的主流方式。一批具有统一监控的电能质量在线监测管理平台在国内外被组建起来，用来进行数据收集和统计分析，最初组建起来的在线监测管理平台，由于电能质量监测设备较少，数据量相对较小，大部分采用集中式关系型数据库作为后端存储选型，随着电能质量监测设备逐步增加，数据量也在线性增加，进而带来存储横向扩展问题和统计分析性能问题。

集中式关系型数据库在数据量较小的情况下(百万级数据库)，其性能优异。然而，当数据增量为10TB级别时，数据分析维度为数千项时，其性能会有瓶颈，即无法在规定的时间内得到数据分析结果，严重影响到用户使用数据的体验，并且在如此大的数据压力情况下，系统往往会不稳定，甚至宕机，无法对外提供服务。因此，如何提高电能质量系统数据分析计算的性能迫在眉睫。

以集中式关系型数据库为存储中心的电能质量监测系统，随着监测点的逐步增加，监测数据量亦同步增加，进而后端监测数据的存储压力呈指数级上升。集中式关系型数据库横向扩展代价大甚至无法扩展，大大降低了电能质量监测系统的性能。因此，如何改善后端存储的可扩展性、增加后端数据存储的能力、提高数据的吞吐能力十分迫切。

发明内容

为解决上述问题，本发明的目的在于搭建一套基于大数据技术的电能质量监测系统，该系统包括混合存储模块和分布式并行计算模块两部分。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于大数据技术的电能质量监测系统构建方法，包括构建电能质量监测的混合存储模块和电能质量监测的分布式并行计算模块；所述分布式并行计算模块用于统计分析日、周、月、季和年维度下的数据；所述混合存储模块用于对电能质量监测设备采集数据进行存储。混合存储模块根据数据不同的使用方式和使用频率，分为列式存储模块、行式存储模块和内存存储模块。

列式存储模块对电能质量监测设备采集的电流、电压、功率和闪变的原始数据进行分布式列式存储；

列式存储模块运行于若干台服务器组成的服务器集群之上，各服务器根据数据大小情况进行分布式存储及负载均衡；

列式存储模块列式存储各表以RowKey(行键)为主键，各表中所有行都按照RowKey(行键)顺序排列，而在行的方向上随着数据的增多分成不同的分区(region)，分区(region)为分布式存储和负载均衡的最小单元，即不同的分区可以存储在不同的服务器上，但一个分区不能拆分到多个服务器上。

分布式列式存储方式具备横向可扩展性，即线性增加新的服务器来存储递增的明细数据。与纵向可扩展性相比，纵向可扩展是指替换掉已经不能满足需求的硬件服务器，更换更高性能的硬件服务器，从而提升系统的存储能力，但纵向扩展有限。

行式存储模块对电能质量监测的报表和分析计算后汇总数据进行集中式行式存储；行式存储模块存储的数据包括日、周、月、季、年和超标统计数据，具有量小、读密集型、需多表关联等特点的事务性数据。

内存存储模块对电能质量监测系统热点数据和待计算数据进行内存式存储；内存存储模块存储的数据包括来自列式或行式中的某一段待处理的数据，具体包括每日产生的电流数据、电压数据、闪变数据和功率数据，该类数据具有易失性、时效性高等特点。

所述分布式并行计算模块对具有海量和结构化特点的电能质量监测数据并行统计分析日、周、月、季和年维度下的数据，分布式并行计算模块包括电能质量并行计算框架、电能质量数据计算模型和电能质量业务并行计算粒度。

电能质量并行计算框架为以电能质量分布式文件系统、电能质量分布式列式存储、电能质量内存式存储、电能质量行式存储、电能质量并行计算框架资源调度、电能质量离线批处理、电能质量交互式分析、电能质量数据分析和电能质量可视化组成的框架。

电能质量数据计算模型统计分析电能质量，对电能质量各业务指标进行计算，能质量各业务指标包括谐波电压、谐波电流、功率、闪变和间谐波

电能质量数据计算模型包括最大值、最小值、平均值和95概率值的计算模型；