[发明专利]一种基于自注意力机制的时序网络的洪水流量预测方法

权利要求书

1.一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：包括以下步骤：

步骤1，预处理历史洪水数据，包括洪水流量以及相关洪水特征因子；

步骤2，使用时间卷积网络和长短期记忆网络并行构建洪水预测模型；

步骤3，设置洪水预测模型相关参数；

步骤4，将历史洪水数据用于洪水预测模型进行训练并保存最终模型；

步骤5，将训练后的模型应用于洪水预测中，并根据相应指标评估结果。

2.根据权利要求1所述的一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：所述步骤1具体过程如下：

步骤11，将提取的历史洪水相关数据进行数据清洗，去除无法用于正常训练的脏数据；

步骤12，将数据集分为训练集以及测试集；

步骤13，对数据进行标准化，其计算公式为：其中：y_i为数据标准化计算后的特征序列数据，x_i为原始特征序列数据，为当前特征序列的平均值，其计算公式为S为标准差，其计算公式为

3.根据权利要求1所述的一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：所述步骤2具体过程如下：

步骤21，通过时间卷积模块增大感受野，使用长短期记忆网络捕获时序依赖；

步骤22，时间卷积网络得到输入序列后进行卷积计算，得到序列的隐藏状态；

步骤23，将时间卷积网络计算后的结果使用自注意力机制，计算出时间卷积网络提取到的一个加权之后的特征向量特征S_a，其计算公式为：其中Q，K，V分别为通过线性层转换时间卷积网络的隐藏层输出得到的三个向量，d_k为使计算结果归一化的一个常量，softmax()为将输出值转换为范围在0到1之间并且和为1的激活函数；

步骤24，通过长短期记忆网络的隐藏层得到输出s_l；

步骤25，将特征s_t，s_l拼接后通过一维卷积网络计算出预测结果。

4.根据权利要求3所述的一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：所述步骤22具体过程如下：

对于序列X＝(x₁，x₂，.....，x_t)，定义一组卷积函数F＝(f₁，f₂，.....，f_t)，在x_t时刻上的时间卷积公式为其中：d为时间卷积网络中动态的膨胀因子，f_k为当前的卷积函数，为全部的卷积函数，X为长度为t的时间序列，x_t为t时刻的样本，x_t-(K-k)d为当前进行卷积计算的时间点。

5.根据权利要求3所述的一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：所述步骤23具体过程如下：

(1)由时间卷积网络的输出h通过三个不同的线性层得到q，k，v三个向量；

(2)为每个向量计算一份注意力权重分数score，其计算公式为score＝q·k，其中：q为当前的查询向量，k为当前的值向量，·表示q和k两个向量的内积操作；

(3)score除以此处d_k为使计算结果归一化的一个常量；

(4)通过softmax函数计算出score的注意力权重

(5)注意力权重与v点乘得到最后的加权向量S_a。

6.根据权利要求1所述的一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：所述步骤4具体过程如下：

步骤41，将标准化的训练集交给洪水预测模型训练，对洪水流量进行预测；

步骤42，损失函数选用均方误差MSE，其计算公式为：其中，n为洪水序列的长度，i为当前预测时间点，y_i为i时刻点洪水的真实流量，为i时刻点洪水的预测流量；

步骤43，使用反向传播方式最小化损失函数，进行模型迭代。

7.根据权利要求1所述的一种基于自注意力机制的时序网络的洪水流量预测方法，其特征在于：所述步骤5具体过程如下：

将测试集输入到训练完成的模型中完成相关测试序列的洪水流量预测，评价标准选用RMSE和R²，其中RMSE的具体计算公式为：

其中，n为洪水序列的长度，i为当前预测时间点，y_i为i时刻点洪水的真实流量，为i时刻点洪水的预测流量；

R²的具体计算公式为：

其中，为真实流量的平均值。