[发明专利]基于量子加权门限重复单元神经网络的趋势预测方法

权利要求书

1.基于量子加权门限重复单元神经网络的趋势预测方法，其特征在于，包括以下步骤：

(1)构建门限重复单元模型、具有权值量子位和活性值量子位的加权神经元模型以及量子加权门限重复单元神经网络结构，并由一位相移门来实现权值量子位和活性值量子位的更新，其中，量子加权门限重复单元神经网络简称为QWGRUNN；

(2)实时采集监控对象的原始运行数据，作为训练样本和测试样本；

(3)通过小波变换对所述原始运行数据进行降噪处理，从降噪的信号中提取排列熵信息构成排列熵指标集；

(4)对所述排列熵指标集进行归一化操作；

(5)将所述排列熵指标集输入所述QWGRUNN完成网络的训练，并用训练好的网络完成对监控对象的运行趋势预测；

(6)对所述QWGRUNN输出的预测值进行反归一化操作，得到最终的预测结果；

步骤(1)具体包括：

(1.1)构建门限重复单元模型，包括输入、输出、待定活性值活性值(h)、更新门(z)和重置门(r)，所述门限重复单元模型采用sigmoid和tanh作为激活函数，其中，sigmoid记为σ，记t时刻的输入为活性值序列作为该时刻的输出，并记j＝1,2,…,p表示任意一个p维向量的第j个元素；

活性值是前一时刻活性值与待定活性值的线性插值：

其中，t＝1时，为一个更新门，决定该单元活性值的更新程度；

更新门是t时刻输入值x_t与t-1时刻活性值h_t-1的线性求和，表达式如下：

其中，W_z为p×m阶权值矩阵，U_z为p×p阶权值矩阵；

待定活性值则由下式表示：

其中，W为p×m阶权值矩阵，U为p×p阶权值矩阵，是t时刻的重置门集，*表示对应元素相乘；

重置门r_t^j表达式与更新门类似，有：

r_t^j＝σ(W_rx_t+U_rh_t-1)^j (4)；

其中，W_r为p×m阶权值矩阵，U_r为p×p阶权值矩阵；

(1.2)构建具有权值量子位和活性值量子位的加权神经元模型，具体如下：记神经元输入向量为x＝[x₁,x₂,…,x_m]^T，输出实数记为y，|φ＝[|φ₁,|φ₂,…,|φ_m]^T表示权向量，其中，权值量子位|φ_i＝[cosθ_i sinθ_i]^T为m维量子权向量|φ的第i个元素,i＝1,2,...,m,θ_i表示该量子位的相位；为活性值量子位，ξ为该活性值量子位的相位，量子神经元的输入输出关系可表述为：

当神经元有多个输出，即y＝[y₁,y₂,…,y_n]^T时，由量子权向量|φ(j)＝[|φ_1j,|φ_2j,…,|φ_mj]^T组成m×n阶量子位权值矩阵|φ：

其中，权值量子位|φ_ij＝[cosθ_ij,sinθ_ij]^T为量子位权值矩阵|φ第i行第j列的元素，i＝1,2,…,m，j＝1,2,…,n，θ_ij表示该量子位的相位；同时，活性值也可表示为：其中，活性值量子位是中的第j个元素且j＝1,2,…,n，ξ_j为活性值量子位的相位，结合式(5)可推导出量子神经元的输入输出关系如下：

其中，W为n×m阶权值矩阵，有：

(1.3)构建量子加权门限重复单元神经网络QWGRUNN的结构，具体如下：

设QWGRUNN结构为m-p-n，则t时刻的输入层记为隐层记为输出层记为激活函数同GRU，为sigmoid和tanh，其中，sigmoid记为σ，另外记i＝1,2,…,m表示任意一个m维向量的第i个元素；j＝1,2,…,p表示p维向量的第j个元素；k＝1,2,…,p表示p维向量的第k个元素；l＝1,2,…,n表示任意一个n维向量的第l个元素；

结合式(2)、式(6)和式(7)可推导出QWGRUNN的更新门如下：

当t＝1时，

同理结合式(4)和式(6)可推导重置门如下：

根据式(3)、式(6)和式(9)可表示待定活性值如下：

其中，*表示对应元素相乘；

然后，结合式(1)、式(8)和式(10)可计算活性值：

结合式(6)、式(11)可计算网络输出值如下：

(1.4)通过更新权值量子位和活性量子位来更新QWGRUNN网络，具体如下：

记一位相移门记第s次训练中一对权值量子位和活性值量子位分别为|φ(s)、相应地，其相位分别记为θ(s)、ξ(s)，其相位增量分别记为Δθ(s)、Δξ(s)；将修正后的量子位作为下次训练的已知量子位，记为|φ(s+1)、则权值量子位及活性值量子位修正方式可表示为：

因此，求出量子相移门的相位增量Δθ(s)和Δξ(s)，即可实现权值量子位|φ(s)和活性值量子位的更新，从而完成本次网络训练并为下次训练做好准备；

同样取i＝1,2,…,m；j＝1,2,…,p；k＝1,2,…,p，l＝1,2,…,n；在QWGRUNN中，需要更新的权值量子位和活性值量子位有：

用于求解权值矩阵W_z的权值量子位|(φ_wz)_ij和活性值量子位

用于求解权值矩阵U_z的权值量子位|(φ_uz)_kj和活性值量子位

用于求解权值矩阵W_r的权值量子位|(φ_wr)_ij和活性值量子位

用于求解权值矩阵U_r的权值量子位|(φ_ur)_kj和活性值量子位

用于求解权值矩阵W的权值量子位|(φ_w)_ij和活性值量子位

用于求解权值矩阵U的权值量子位|(φ_u)_kj和活性值量子位

用于求解权值矩阵W_y的权值量子位|(φ_wy)_kl和活性值量子位

其中，权值量子位的下标ij表示m×p阶权值量子位矩阵中的第i行第j 列的元素，例如|(φ_wz)_ij表示权值量子位矩阵|φ_wz中第i行第j列的元素，下标kj表示p×p阶量子位矩阵中的第k行第j列的元素，例如|(φ_uz)_jk表示权值量子位矩阵|(φ_uz)中第j行第k列的元素，下标kl表示p×n阶量子位矩阵中的第k行第1列的元素，例如|(φ_wy)_kl表示权值量子位矩阵|φ_wy中第k行第1列的元素；活性值量子位的下标j均表示任意一个p维量子位向量中的第j个元素；

因此，需要求得的对应的t时刻相位增量Δθ(t)和Δξ(t)分别有：

权值量子位|(φ_wz)_ij的相位增量Δ(θ_wz)_ij(t)，活性值量子位的相位增量Δ(ξ_wz)_j(t)；

权值量子位|(φ_uz)_kj的相位增量Δ(θ_uz)_kj(t)，活性值量子位的相位增量Δ(ξ_uz)_j(t)；

权值量子位|(φ_wr)_ij的相位增量Δ(θ_wr)_ij(t)，活性值量子位的相位增量Δ(ξ_wr)_j(t)；

权值量子位|(φ_ur)_kj的相位增量Δ(θ_ur)_kj(t)，活性值量子位的相位增量Δ(ξ_ur)_j(t)；

权值量子位|(φ_w)_ij的相位增量Δ(θ_w)_ij(t)，活性值量子位的相位增量Δ(ξ_w)_j(t)；

权值量子位|(φ_u)_kj的相位增量Δ(θ_u)_kj(t)，活性值量子位的相位增量Δ(ξ_u)_j(t)；

权值量子位|(φ_wy)_kl的相位增量Δ(θ_wy)_kl(t)，活性值量子位的相位增量Δ(ξ_wy)_l(t)；

采用梯度下降法求Δθ(t)、Δξ(t)，QWGRUNN的逼近误差函数为：

其中，和y_k分别表示归一化后的期望输出和实际输出；显然E是关于相位(θ_wz)_ij(t)、(θ_wr)_ij(t)、(θ_w)_ij(t)、(θ_wy)_kl(t)、(θ_uz)_kj(t)、(θ_ur)_kj(t)、(θ_u)_kj(t)、(ξ_wz)_j(t)、(ξ_wr)_j(t)、(ξ_w)_j(t)、(ξ_wy)_l(t)、(ξ_uz)_j(t)、(ξ_ur)_j(t)、(ξ_u)_j(t)的一致连续函数；

定义动态学习速率表达式如下：

其中：α是学习效率，e时自然常数，r为动态收敛因子且r∈(0,1)；

根据梯度下降法，相位增量Δθ(t)与Δξ(t)分别由如下两式分别得出：

分别将相位(θ_wz)_ij(t)、(θ_wr)_ij(t)、(θ_w)_ij(t)、(θ_wy)_kl(t)、(θ_uz)_kj(t)、(θ_ur)_kj(t)、(θ_u)_kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θ_wz)_ij(t)、Δ(θ_wr)_ij(t)、Δ(θ_w)_ij(t)、Δ(θ_wy)_kl(t)、Δ(θ_uz)_kj(t)、Δ(θ_ur)_kj(t)、Δ(θ_u)_kj(t)；

同理，将相位(ξ_wz)_j(t)、(ξ_wr)_j(t)、(ξ_w)_j(t)、(ξ_wy)_l(t)、(ξ_uz)_j(t)、(ξ_ur)_j(t)、(ξ_u)_j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξ_wz)_j(t)、Δ(ξ_wr)_j(t)、Δ(ξ_w)_j(t)、Δ(ξ_wy)_l(t)、Δ(ξ_uz)_j(t)、Δ(ξ_ur)_j(t)、Δ(ξ_u)_j(t)；

将相位增量Δ(θ_wz)_ij(t)、Δ(θ_wr)_ij(t)、Δ(θ_w)_ij(t)、Δ(θ_wy)_kl(t)、Δ(θ_uz)_kj(t)、Δ(θ_ur)_kj(t)、Δ(θ_u)_kj(t)以及相位增量Δ(ξ_wz)_j(t)、Δ(ξ_wr)_j(t)、Δ(ξ_w)_j(t)、Δ(ξ_wy)_l(t)、Δ(ξ_uz)_j(t)、Δ(ξ_ur)_j(t)、Δ(ξ_u)_j(t)分别带入式(13)和式(14)，实现权值量子位和活性值量子位的更新。