[发明专利]一种基于PySpark的储能数据计算和分析方法

说明书

本发明公开了一种基于PySpark的储能数据计算和分析方法，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpark为基础的RDD数据，进行数据处理和分析，所述储能数据计算和分析方法包括以下流程步骤：数据采集、数据转换、数据储存、读取数据、数据预处理、数据生成、数据归一化、数据权重分配和数据分类计算。该基于PySpark的储能数据计算和分析方法，采用Restfulapi进行数据接口的设计，是为了满足如今B/S架构设计平台的需求，通过http协议进行数据传输。

技术领域

本发明涉及海量数据的处理和分析技术领域，具体为一种基于PySpark的储能数据计算和分析方法。

背景技术

近年来，随着信息技术的发展，传统的能源行业开始以信息化、智能化的特点进行转变。而对于储能领域，对于数据的实时性和准确性的要求也越来越高，随着时间精度的提高，电厂运行时产生的数据量级也随之水涨船高，面对海量数据时，内存需求无法满足计算，因此需要及时构建一个基于大数据处理的平台，实现海量数据的处理和分析。

为此，本专利采用了一种基于spark的python库PySpark，并通过web平台实现，完成对储能数据的分析和处理。

发明内容

本发明的目的在于提供一种基于PySpark的储能数据计算和分析方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于PySpark的储能数据计算和分析方法，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpark为基础的RDD数据，进行数据处理和分析，所述储能数据计算和分析方法包括以下流程步骤：数据采集、数据转换、数据储存、读取数据、数据预处理、数据生成、数据归一化、数据权重分配和数据分类计算。

优选的，所述数据采集采集电厂储能数据。

优选的，所述数据转换将数据转换为Restfulapi的形式，通过接口发送。

优选的，所述数据储存根据采集数据的时标进行数据存储入数据库。

优选的，所述读取数据通过Sparkdataframe读取数据库数据。

优选的，所述数据预处理通过dataframe对采集数据进行数据预处理，例如数据列的处理、数据行的增添、数据去错、数据除零。

优选的，所述数据生成将dataframe的数据转换为父级SparkRDD数据格式，而后根据时间节点，生成各个子级RDD的partion。

优选的，所述数据归一化将RDD的数据除了时间数据外，对剩余数据进行归一化处理和正则化处理。

优选的，所述数据权重分配加入时间特征值，对RDD中数据进行数据权重分配。

优选的，所述数据分类计算根据权重分配后的数据，利用线性回归对数据进行分类和计算，得出需要的结果。

与现有技术相比，本发明的有益效果如下：该基于PySpark的储能数据计算和分析方法，采用Restfulapi进行数据接口的设计，是为了满足如今B/S架构设计平台的需求，通过http协议进行数据传输；PySpark是为了让ApacheSpark支持python语言的python第三方库，ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，也是目前最流行的大数据处理框架之一；其主要内容包含了SparkCore和SparkSQL等；RDD弹性分布式数据集分布是Spark的一个重要功能，属于Spark的基本数据类型，具有分区、只读和并行的特性。

附图说明

图1为本发明工作流程结构示意图。

具体实施方式