[发明专利]基于不同角度融合的多变量水库入水量预测系统、训练方法及应用

权利要求书

1.一种基于不同角度融合的多变量水库入水量预测系统，其特征在于包括：

随机循环神经网络，用于将水库当前时刻各变量观测值映射到隐空间，获取其隐变量；

基于正则化流的生成模型，利用其标准化流对获取的隐变量进行残差处理，得到符合多模态分布的隐变量；

注意力模型，用于获取水库当前时刻各变量观测值的注意力矩阵；所述注意力模型为多头注意力模型，其包括多个注意力头结点，以H表示注意力头结点数量；针对当前时刻t，将观测值序列X_1:t输入至多头注意力模型中，将观测值序列的N种不同种类的观测值拆分成H组，并将每组包含N/H个观测值的序列输入到不同的自注意力头结点中，按照以下公式得到第h个注意力矩阵：

其中，代表第h个注意力头结点得到的表示信息，表示输入至第h个注意力头结点的子序列，softmax为激活函数，代表矩阵X的转置；将各个头结点得到的注意力矩阵进行拼接得到关于t时刻观测值序列X_1:t的注意力矩阵：

随后，将t时刻观测值序列X_1:t的注意力矩阵a_t进行仿射变换，使其与隐变量的表示具有相同维度：

其中，W_a和b_a为参数；

多层感知机，用于以生成模型得到的隐变量和注意力模型得到的注意力矩阵为输入，预测得到下一时刻的水库入水量性能指标。

2.根据权利要求1所述的基于不同角度融合的多变量水库入水量预测系统，其特征在于所述随机循环神经网络包括RNN和VAE；RNN用于获取水库当前时刻各变量的隐状态；VAE用于获取水库当前时刻各变量的隐变量。

3.根据权利要求1所述的基于不同角度融合的多变量水库入水量预测系统，其特征在于所述基于正则化流的生成模型包括多个转换层，每个转换层是一个独立的残差网络。

4.根据权利要求1所述的基于不同角度融合的多变量水库入水量预测系统，其特征在于水库入水量性能指标包括水库入水量预测值和在指定置信度下水库入水量预测值的变化范围。

5.根据权利要求4所述的基于不同角度融合的多变量水库入水量预测系统，其特征在于利用t时刻的隐空间表示—隐变量和注意力表示—注意力矩阵通过多层感知机预测下一时刻t+1的入水量，按照以下公式得到关于入水量的正态分布：

其中，W和b表示参数；

利用正态分布来对水库入水量进行预测。

6.根据权利要求5所述的基于不同角度融合的多变量水库入水量预测系统，其特征在于以表示水库入水量预测值；以表示95％的置信度下水库入水量预测值的变化范围。

7.根据权利要求1至6任一权利要求所述基于不同角度融合的多变量水库入水量预测系统的训练方法包括以下步骤：

S1，训练用数据集构建，将包括多个变量的历史观测值时序数据集D划分为多个长度为T的子序列X_1:T，多个子序列构成训练用数据集；

S2，系统训练，使用训练用数据集对前面给出的多变量水库入水量预测系统进行训练；本步骤采用小批次训练的方法，按照以下分步骤进行训练：

S21，将小批次训练用子序列输入至随机循环神经网络，得到水库各变量映射到隐空间的隐变量；

S22，将得到的隐变量输入至基于正则化流的生成模型，得到符合多模态分布的隐变量；

S23，将小批次训练用子序列输入至注意力模型，得到水库各变量的注意力矩阵；

S24，将得到的符合多模态分布的隐变量和水库各变量的注意力矩阵输入至多层感知机中，得到由均值和方差表征的正态分布，进而得到水库入水量在正态分布上的概率分布；

S25，按照以下公式计算损失值：

其中，Θ表示系统所有需学习更新的参数，B表示小批次训练用子序列数据集，|B|表示小批次训练子序列数量大小；

S3，采用梯度下降算法对系统需学习更新的参数进行更新；

S4，重复步骤S2-S3，至系统收敛。