[发明专利]一种基于电力大数据负荷密度优化计算方法

说明书

本发明涉及的电网变压器负荷数据的计算领域。尤其涉及一种基于电力大数据负荷密度优化计算方法。本发明巧妙的利用平面转化将任意不规则区域顶点的经纬度坐标转换，将区域面积计算问题转化为多边形面积的计算。采用本发明可以对任意框选的区域进行区域密度计算，使供电公司快速掌握负荷热点地区的用电高峰时的发电数据，对区域电网的安全运行具有重要意义。

技术领域

本发明涉及的电网变压器负荷数据的计算领域。尤其涉及一种基于电力大数据负荷密度优化计算方法。

背景技术

随着配电网智能化、信息化的发展，配电网每日产生的数据量越来越大，传统的数据处理方式早已不能满足供电公司对于配电网规划管理的需求。数据结构多样，数据关系复杂，数据实时性要求高一直是配电网有效信息提取的难点。将大数据技术应用于电力行业可以高效的解决配电网海量数据处理与计算带来的难题，还可以对负荷数据进行区域化、行业化分类统计，大数据技术应用于配电网可以使供电单位与用户之间的纽带更加智能化、信息化因而受到了广泛的使用。

根据数据信息的来源情况的不同，可以将智能配电网中的大数据分成电力系统发电数据、电力系统运行的数据和电力系统外界的数据。电力系统发电数据主要包含公变用采数据、配变用采数据以及配电网拓扑数据。将分布式计算架构运用于电力系统的正常运行工作、用电策略的营销工作，以及社会互联网信息的数据管理方向，挖掘大数据中信息价值，可以降低电力系统管理的成本，对提升电力企业的经济效益具有重要意义，与此同时还能够有效地提高电力系统的综合服务性水平。

传统的Hadoop大数据处理平台以HDFS与MapReduce为核心可以运用于批量数据处理，但不适用于交互式数据查询、实时数据流处理。2009年，UCBerkeley推出了全新的大数据处理框架：Spark，该框架计算速度快、性能卓越，其提供批量数据处理、交互式数据查询、实时数据流处理、机器学习这些不同场景的大数据处理需求。目前，该计算平台已成为使用度最高，开发最活跃的大数据处理平台。

负荷密度是表征负荷分布密集程度的量化参数，它是每平方公里的平均用电功率数值，以MW/km²计量。传统计算区域负荷密度的方法仅针对于确定边界的地块，用各变电站及各线路最高负荷除以该地块的面积。该计算方案需要大量的数据支撑且无法适用于实时框选的负荷数据，因此亟待采用一种新的计算方法，充分利用配电网发电数据，对区域负荷密度进行高效、精确的计算。

发明内容

本发明创造的目的在于，提供一种利用大数据原理，简单快捷的通过对配电网数据进行并行计算来获取区域的负荷密度计算方法。

为实现上述目的，本发明创造采用如下技术方案。

一种基于电力大数据负荷密度优化计算方法，包括

步骤一、建立分布式存储计算平台，至少包括建立分布式计算层以及数据存储层；

建立分布式计算层包括建立基于Spark的上层计算平台以及基于Hadoop的下层计算平台，上层计算平台用于构建RDD算子和Mllib算法库、完成内存计算，下层计算平台用于创建和分配任务、构建MapReduce、完成集群管理以及并行计算；采用并行计算作为负荷数据的计算结构，将计算问题分解成多个任务，每一个任务可以在不同的CPU上同时进行计算，节省了大规模区域负荷密度计算的时间和成本。

建立数据层储层包括建立基于HDFS的分布式文件系统以及基于Hive的统计分析系统，分布式文件系统根据源数据建立分布式存储数据，统计分析系统根据分布式存储数据建立数据库表，同时完成数据查询以及数据重构功能；采用Hadoop分布式文件系统(HDFS)作为配电网负荷数据存储的框架，数据存储系统具有低成本性、高容错性、高吞吐量和高可扩展性。

步骤二、对原始数据进行预处理；包括收集用户用电负荷数据，采用拉格朗日插值定理补全空数据；以配变ID和日期为Key，对数据进行去重；将原始数据中的异常数据采用统计学中的3σ定理剔除；