[发明专利]一种基于PSLSTM神经网络的出水BOD浓度预测方法

权利要求书

1.一种基于PSLSTM神经网络的出水BOD浓度预测方法，其特征在于，包括以下步骤:

步骤1：数据预处理；

步骤1.1：计算出污水处理厂每一个水质参数与出水BOD浓度的互信息值，计算方式如式(1)所示，选取互信息值大于0.84的变量得出与出水BOD浓度相关性强的辅助变量为：出水总氮浓度、进水磷酸盐浓度、进水色度；

其中，I(X,Y)表示X,Y的互信息，p(x,y)表示x,y的联合概率密度分布函数，p(x)、p(y)分别表示x、y的概率密度分布函数；

步骤1.2：选取t-2、t-1、t时刻的出水总氮浓度、进水磷酸盐浓度、进水色度及出水BOD浓度作为输入变量，t+1时刻的出水BOD浓度作为输出变量；将输入变量,输出变量按照公式(2)-(3)归一化至[-1,1]:

其中,X_t表示t时刻的输入变量,x_t表示归一化后的t时刻输入变量，O_t表示t时刻的输出变量,x_t表示归一化后的t时刻输出变量；

步骤2：设计出水BOD的PSLSTM神经网络预测模型；

步骤2.1：设计SLSTM神经网络的结构；

设计的SLSTM神经网络由2个控制门和一个记忆单元组成，各结构的计算功能如下：

①输入门:输入门i_t控制需要输入到网络中的信息，计算如下：

i_t＝σ(U_ih_t-1+b_i) (4)

其中，U_i和b_i分别为输入门的递归权重矩阵和偏差权重矩阵，h_t-1是时间t-1时刻的单元输出，σ为sigmoid激活函数(σ(x)＝1/1+e^-x)；

②记忆单元：记忆单元c_t将当前信息与以前的信息结合起来，计算如下：

c_t＝(1-i_t)⊙c_t-1+z_t (5)

其中，⊙表示点乘运算，c_t-1为t-1时刻的记忆单元状态，z_t表示单元输入结合t时刻的输入变量x_t和t-1时刻的单元输出h_t-1来更新输入：

z_t＝g(W_zx_t+U_zh_t-1+b_z) (6)

其中，W_z,U_z和b_z分别为单元输入的输入权重矩阵、递归权重矩阵和偏差权重矩阵，g为双曲正切激活函数(g(x)＝tanh(x))；

③输出门：输出门o_t通过以下公式控制多少单元输出h_t被输出网络：

o_t＝σ(U_oh_t-1+b_o) (7)

h_t＝o_t⊙g(c_t) (8)

其中，U_o和b_o分别为输出门的递归权重矩阵和偏差权重矩阵，h_t为t时刻LSTM单元的输出，g(c_t)表示c_t被tanh激活函数转换；

计算SLSTM的最终输出y_t如下所示：

y_t＝W_yh_t (9)

其中，W_y为单元输出和PSLSTM最终输出之间的连接矩阵；

步骤2.2：设计基于PLS的SLSTM神经网络剪枝算法；

步骤2.2.1：使用偏最小二乘(Partial Least Squares,PLS)法计算每个LSTM内部记忆单元的相应回归系数，PLS回归方程如下所示：

y_t＝a₁c_t,1+…+a_mc_t,m+…+a_M(t)c_t,M(t) (10)

其中，a_m为PLS回归系数，M(t)为t时刻LSTM单元的个数；

步骤2.2.2：根据选择不重要的LSTM单元，为所有记忆单元的PLS回归系数的平均值，θ取值0.06；

步骤2.2.3：根据公式(12)将不重要的LSTM单元与其最相关的单元合并：

其中，S_mn为相关系数，c_t,m为t时刻被选择的不重要的LSTM单元m的记忆状态，c_t,n为t时刻未被选择的LSTM单元n的记忆状态，和分别为所有时间点上c_t,m和c_t,n的平均值,σ_m、σ_n分别为c_t,m、c_t,n的标准差，选择具有最高相关系数的LSTM单元作为最相关的单元；

步骤2.2.4：合并不重要的LSTM单元m₁和其最相关的单元m₂生成新的单元m₀，LSTM单元m₀所有的输入、递归和偏置权重矩阵在[-1,1]范围内随机分配，m₀的输出通过公式(4)-(8)计算，从单元输出到PSLSTM最终输出的连接权重矩阵被计算为：

其中，分别为剪枝前LSTM单元m₁、m₂的输出到PSLSTM最终输出的连接权重矩阵，分别为剪枝前LSTM单元m₁、m₂的输出，为剪枝后LSTM单元m₀的输出到PSLSTM最终输出的连接权重矩阵，为剪枝后LSTM单元m₀的输出；

步骤3：设计出水BOD的PSLSTM神经网络学习算法；

步骤3.1：定义性能指标函数:

其中，和y_t分别为t时刻PSLSTM的期望输出和实际输出；

步骤3.2：采用时间反向传播算法来更新参数；

①在最后一次更新参数时，δh_t通过进行计算，否则δh_t通过以下公式进行计算：

δh_t＝δz_t+1U_z+δi_t+1U_i+δo_t+1U_o (14)

其中，δh_t代表t时刻输出向量h_t的误差项,δz_t+1、δi_t+1与δo_t+1分别代表t+1时刻单元输入z_t+1、输入门i_t+1、输出门o_t+1的误差项；

②计算与记忆单元和门结构相关的参数如下所示：

δc_t＝δh_t⊙o_t⊙g′(c_t) (15)

δo_t＝δh_t⊙g(c_t)⊙σ′(o_t) (16)

其中，δc_t、δo_t、δi_t与δz_t分别表示t时刻记忆单元状态c_t、输出门o_t、输入门i_t、单元输入z_t的误差项，o_t,分别表示输出门、输入门和单元输入被相应激活函数转换前的原始值,g′(c_t)表示c_t被tanh激活函数转换后求导，σ′(o_t)表示o_t被sigmoid激活函数转换后求导，表示被sigmoid激活函数转换后求导，表示被sigmoid激活函数转换后求导；

③更新t时刻的输入权重、递归权重和偏差权重矩阵如下所示：

W_z,t＝W_z,t+1-η×δW_z,t (19)

U_Ω,t＝U_Ω,t+1-η×δU_Ω,t (20)

b_Ω,t＝b_Ω,t+1-η×δb_Ω,t (21)

其中,W_z,t、U_Ω,t、b_Ω,t分别表示更新后的t时刻输入权重矩阵、递归权重矩阵、偏差权重矩阵,W_z,t+1、U_Ω,t+1、b_Ω,t+1分别表示t+1时刻输入权重矩阵、递归权重矩阵、偏差权重矩阵,η为学习率，取值0.01，δW_z,t、δU_Ω,t、δb_Ω,t分别表示t时刻输入权重矩阵、递归权重矩阵、偏差权重矩阵的更新值，被计算为：

δb_Ω,t＝δΩ_t (24)

其中，表示矩阵的叉乘；Ω表示{z,i,o}中的其中一个；

步骤3.3:输入训练样本数据,根据步骤3.2中的公式(14)-(24)更新输入权重、递归权重、偏差权重矩阵,每输入一组训练样本,权值更新一次；

步骤3.4:计算训练RMSE，如果RMSE小于期望的训练RMSE(E_d)或者迭代次数达到最大迭代次数(I_max)时停止计算，其中I_max取值为1000，E_d取值为0.0200，否则跳至步骤3.3，RMSE定义如公式(25)所示：

其中，T是所有时间点的数量；

步骤4:出水BOD预测；

将测试样本数据作为训练好的PSLSTM神经网络的输入,得到PSLSTM神经网络的输出,将其进行反归一化得到出水BOD浓度。