[发明专利]一种基于工业用电大数据的数据清洗的集成方法

权利要求书

1.一种基于工业用电大数据的数据清洗的集成方法，其特征在于，包括下述步骤：

S1、采集工厂需要进行数据清洗的数据序列；

S2、对采集的数据序列进行周期性检验，将周期性检验后的数据细分为：周期性序列、非周期性平稳序列和非周期性非平稳序列；

S3、建立异常值剔除模型库，并将不同类别数据序列分别输入到对应的剔除模型中，剔除异常值；

S4、建立数据填补模型库，将剔除异常值的数据序列根据不同数据类别输入到对应的数据填补模型中；

S5、建立滤波模型库，将填补后的数据序列分别输入到对应的滤波模型中；

S6、将S5处理后的数据序列分别存入实时数据库和分布式数据库中。

2.根据权利要求1所述的基于工业用电大数据的数据清洗的集成方法，其特征在于，所述S2包括以下子步骤：

S21、利用小波分析法对部分序列进行拆分，分析拆分后的序列是否具有周期性，若没有，则分入非周期性这一类别中；若有，则分入周期性这一类别；

所述小波分析法的计算公式为：

其中，a为尺度，控制小波函数的伸缩；τ为平移量；f(t)为目标信号；ψ(t)为基本频率特性；

S22、对不是周期性序列进行统计学分析，分析一年的数据，且判断是否95％的数据都存在于一个固定范围内，若是，则将这类数据归类到非周期性平稳序列中；若否，则归类到非周期性序列、非平稳序列中。

3.根据权利要求1所述的基于工业用电大数据的数据清洗的集成方法，其特征在于，所述S3包括以下子步骤：

S31、利用主成分分析法对平稳生产的数据序列进行异常值标记和剔除，所述主成分分析法的计算公式为：

其中，a_1i,a_2i,……,a_pi(i＝1,……,m)为X的协方差阵Σ的特征值所对应的特征向量，是原始变量经过标准化处理的值；

变量标准化处理的公式为：

其中，为标准化后的数据，Z_min为一段时间内的Z_x的最小值，Z_max为一段时间内的Z_x的最大值；

S32、采用箱线图的方法对非周期性非平稳序列进行异常值剔除和标记；

S33、对非周期性平稳序列进行排异，当超过或者低于某个设定数值时，进行异常值剔除；

S34、根据数据序列的周期性对具有周期性数据序列进行异常值剔除。

4.根据权利要求1所述的基于工业用电大数据的数据清洗的集成方法，其特征在于，所述S4包括以下步骤：

S41、判断所需填补的数据序列是否为非周期性非平稳序列，若是，则判断其相邻空缺值的长度，若大于1，则输入空缺值之前的一段连续的数据序列到BP神经网络进行模型训练；

S42、对空缺值进行预测，用预测值对数据序列对应的空缺进行填补；

所述BP神经网络的核心计算公式为：

y_jk＝f(w_1j×o_j+…+w_ij×o_j+…+w_mj×o_j+b_j)

其中，f表示隐藏层的激活函数。j表示隐藏层的节点个数，o_j表示隐藏层的第j个神经元的输出值，w_ij表示输入层的第i个神经元与隐藏层的第j个神经元的连接权值；

S43、若长度等于1，则采用最近邻插值法进行数据填补；

S44、利用数据序列周期性规则对具有周期性序列进行数据填补。

5.根据权利要求1所述的基于工业用电大数据的数据清洗的集成方法，其特征在于，所述S5包括以下子步骤：

S51、对具有周期性序列和平稳序列进行滑动平均滤波，所述滑动平均滤波算法的计算公式为：

其中，f(t)为时间为t时的滤波结果，y(i)为时间为i时刻的采样数据，n为滤波长度；

S52、对不平稳非周期序列进行卡尔曼滤波，所述卡尔曼滤波整个过程的公式为：

X(k|k-1)＝A×X(k-1|k-1)+B×U(k)

P(k|k-1)＝A×P(k-1|k-1)×A′+Q

X(k|k)＝X(k|k-1)+K_g(k)*(Z(k)-H×X(k|k-1))

K_g(k)＝P(k|k-1)×H′/(H×P(k|k-1)×H′

P(k|k)＝(I-K_g(k)×H)×P(k|k-1)

其中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果；U(k)为现在状态的控制量，如果没有控制量，它的值为0；P表示协方差；A表示状态转移矩阵；Q是系统过程的协方差；Z(k)是观测值的平均数；K_g为卡尔曼增益。