[发明专利]面向暂态电能质量综合评估的大数据分析系统

说明书

本发明公开了一种面向暂态电能质量综合评估的大数据分析系统，该系统包括：数据源层模块、分布式文件管理层模块、大数据分布式处理层模块以及分布式数据挖掘层模块；其中，所述数据源层模块分别进行海量历史数据和实时流数据处理，用于分类器训练和实时分类过程；所述分布式文件管理层模块使用名字节点和数据节点的主从结构，为所述大数据分布式处理层模块提供高吞吐量的数据访问；所述大数据分布式处理层模块主要采用业界通用的MapReduce分布式计算框架，构造Reduce函数合并所有的具有相同中间key的中间value，并提交输出数据至所述分布式数据挖掘层模块；所述分布式数据挖掘层模块在MapReduce分布式计算框架的基础上，使用批量数据检索以及实时数据检索获取数据。

技术领域

本发明属于大数据分析技术领域，涉及一种面向暂态电能质量综合评估的大数据分析系统。

背景技术

电能质量扰动主要指供用电设备正常运行时频、电压、电流等指标偏离额定值的程度。长期以来，人们对电能质量稳态问题比较关注，主要集中于对电压偏差、频率偏差和三相不平衡等问题的研究和治理。但随着敏感设备的大量使用，暂态扰动已经成为用户电能体验问题的主要原因，尤其是电压暂降和短时间中断严重威胁敏感用户的用电可靠性。

当前信息通信技术对中国电力工业的价值贡献正处于量变到质变的关键节点，而变化的本质就是电力信息通信与电力生产以及企业经营管理的深度融合，其最终表现形式必将是电力数据的爆发性增长。在电力大数据背景下，贯穿输电、配电、管理等各个环节的数据都可用于暂态电能质量综合评估。这些数据从类型上可以分为海量历史数据和实时流数据，具有多源、海量、异构、时空连续等特点，共同构成了评估所需要的大数据。

目前，暂态电能质量扰动已经成为影响电力系统安全、稳定、可靠运行的重要因素，暂态电能质量评估的目的在于近乎实时地评估出暂态电能质量扰动的严重程度，实现对敏感用户的潜在故障预警，其研究的焦点是科学、客观地将多指标问题归并成单一量化的指标问题。国内外对于暂态电能质量综合评估的研究主要分为定性分析和定量分析两类，其方法都是通过使用加权系数反映各指标的相对重要程度，并将多维电能质量扰动向一维归并。这种综合评估方法的主要问题在于各电能质量指标具有明显的不相关性，从而导致它们相应的加权系数难以确定。

发明内容

本发明目的在于提供一种面向暂态电能质量综合评估的大数据分析系统，针对电能质量指标相应的加权系数难以确定的问题，采用基于大数据处理架构的贝叶斯分类算法，综合电网运行监测数据、电力用户数据、公共数据等异构的海量数据，实现了对暂态电能质量的状态评估，有效地解决了原始数据分散、模型训练速度慢的缺点，并且提高了状态评估的效率和准确性。

为解决上述技术问题，本发明采用如下的技术方案：一种面向暂态电能质量综合评估的大数据分析系统，该系统包括：数据源层模块、分布式文件管理层模块、大数据分布式处理层模块以及分布式数据挖掘层模块；其中，所述数据源层模块分别进行海量历史数据和实时流数据处理，用于分类器训练和实时分类过程；所述分布式文件管理层模块使用名字节点和数据节点的主从结构，为所述大数据分布式处理层模块提供高吞吐量的数据访问；所述大数据分布式处理层模块主要采用业界通用的MapReduce分布式计算框架，构造Reduce函数合并所有的具有相同中间key的中间value，并提交输出数据至所述分布式数据挖掘层模块；所述分布式数据挖掘层模块在MapReduce分布式计算框架的基础上，使用批量数据检索以及实时数据检索获取数据。

进一步地，所述数据源层模块通过多源数据融合和数据集成，实现跨业务系统、跨安全区域、多传感器之间的数据获取。

进一步地，所述分布式文件管理层模块可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块，具有高容错性和可移植性。

进一步地，所述大数据分布式处理层模块针对分布式任务构造“Map(映射)”函数和“Reduce(规约)”函数实现大数据的并行处理。