[发明专利]一种基于PySpark的储能数据计算和分析方法

权利要求书

1.一种基于PySpark的储能数据计算和分析方法，其特征在于，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpark为基础的RDD数据，进行数据处理和分析，所述储能数据计算和分析方法包括以下流程步骤：数据采集、数据转换、数据储存、读取数据、数据预处理、数据生成、数据归一化、数据权重分配和数据分类计算；

所述数据采集采集电厂储能数据；

所述数据转换将数据转换为Restfulapi的形式，通过接口发送；

所述数据储存根据采集数据的时标进行数据存储入数据库；

所述读取数据通过Sparkdataframe读取数据库数据；

所述数据预处理通过dataframe对采集数据进行数据预处理；

所述数据生成将dataframe的数据转换为父级SparkRDD数据格式，而后根据时间节点，生成各个子级RDD的partion；

所述数据归一化将RDD的数据除了时间数据外，对剩余数据进行归一化处理和正则化处理；

所述数据权重分配加入时间特征值，对RDD中数据进行数据权重分配；

所述数据分类计算根据权重分配后的数据，利用线性回归对数据进行分类和计算，得出需要的结果；

所述线性回归采用SGD算法，算法如下：

目标函数的损失函数取各个样本损失函数的平均，那么假设目标函数为：

其中：J( x_i) 是第x_i个样本的目标函数，n为样本的总数量；

那么目标函数在x处的梯度为：

其中：是第x_i个样本的目标函数的梯度，n为样本的总数量。