[发明专利]基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法

权利要求书

1.一种基于自适应小波和注意力机制的时频记忆神经网络的配电网初期故障识别方法，其特征在于，是按如下步骤进行：

步骤1、构建网络的训练集T_r和测试集T_e；

步骤1.1、采集故障设备的三相电压和三相电流数据，并构建故障数据分类集合，记为F＝{U，I}，其中，U表示三相电压数据集，且U＝{U₁，U₂…U_k…U_K}，U_k表示第k条故障数据的三相电压数据，且U_k＝{u_k，a，u_k，b，u_k，c}，u_k，a表示第k条故障数据的A相电压数据，u_k，b表示第k条故障数据的B相电压数据，u_k，c表示第k条故障数据的C相电压数据；I表示三相电流数据集，且I＝{I₁，I₂…I_k…I_K}，I_k表示第k条故障数据的三相电流数据集，且I_k＝{i_k，a，i_k，b，i_k，c}，i_k，a表示A相电流数据，i_k，b表示B相电流数据，i_k，c表示C相电流数据；1≤k≤K；

步骤1.2、构建故障数据分类集合F的标签信息集合，记为Y＝{y_1，n，y_2，n…y_k，n…y_K，n}，其中，T_k，n表示第k条故障数据的标签值为第n种故障，1≤n≤N，N为故障种类数；

步骤1.3、将带有标签的故障数据集T＝(F，Y)随机打乱顺序后，分为训练集T_r和测试集T_e；且T_r＝{x₁，x₂…x_k…x_K}，x_k表示第k条带有标签的故障数据，且x_k＝{x_k，1，x_k，2…x_k，t…x_k，T}，x_k，t表示第k条故障数据的第t个时间步长数据，1≤t≤T；T表示总时间步长；

步骤2、构建带有Attention机制的自适应小波变换时频记忆递归神经网络，包括：自适应小波变换的时频记忆递归层、Attention层和全连接层；

步骤2.1构建自适应小波变换的时频记忆递归层，包括：时频记忆遗忘部分、细胞更新单元；

其中，所述时频记忆遗忘部分包括：时域遗忘门、频域遗忘门、状态遗忘门；

所述细胞更新单元包括：输入门、自适应小波变换单元、输出门；

步骤2.1.1、所述第k条故障数据的第t个时间步长数据x_k，t输入自适应小波变换的时频记忆递归层中，所述时频记忆遗忘部分利用式(1)-式(3)进行选择性丢弃处理，得到第k条故障数据的第t个时间步长的时域遗忘门的输出f_k，t^tim、第k条故障数据的第t个时间步长的频域遗忘门的输出f_k，t^fre、第k条故障数据的第t个时间步长的状态遗忘门的输出f_k，t^ste：

式(1)-式(3)中，h_k，t-1表示第k条故障数据的第t-1个时间步长的故障信息隐藏状态值；当t＝1时，令隐藏状态值h_k，t-1为零；sigmoid( )表示将变量映射到0和1之间的激活函数；W_tim和U_tim分别表示第k条故障数据的第t个时间步长数据x_k，t和第t-1个时间步长的故障信息隐藏状态值h_k，t-1在时域上的权重矩阵，b_tim表示时域上的偏差向量，表示J维的实数向量，W_fre和U_fre分别表示第k条故障数据的第t个时间步长数据x_k，t和第t-1个时间步长的故障信息隐藏状态值h_k，t-1在频域上的权重矩阵，b_fre表示频域上的偏差向量，表示Q维的实数向量，W_ste和U_ste分别表示第k条故障数据的第t个时间步长数据x_k，t和第t-1个时间步长的故障信息隐藏状态值h_k，t-1在状态上的权重矩阵，b_ste表示状态上的偏差向量，表示D维的实数向量；

所述时频记忆遗忘部分利用式(4)得到第k条故障数据的第t个时间步长的输出集合F_k，t：

式(4)中，表示外积运算；

步骤2.1.2、所述第k条故障数据的第t个时间步长数据x_k，t和第t-1个时间步长的故障信息隐藏状态值h_k，t-1输入所述细胞更新单元中，所述输入门利用式(5)-式(7)得到第k条故障数据的第t个时间步长的故障输入信息p_k，t和故障调制信息g_k，t；

p_k，t＝sigmoid(W_px_k，t+U_ph_k，t-1+b_p) (5)

g_k，t＝tanh(W_gx_k，t+U_gh_k，t-1+b_g) (6)

式(5)-式(7)中，为所述输入门第t个时间步长的故障信息输出；W_p和U_p分别表示所述第k条故障数据的第t个时间步长数据x_k，t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值h_k，t-1的在输入时的权重矩阵，b_p表示输入门的偏差向量；W_g和U_g分别表示所述第k条故障数据的第t个时间步长数据x_k，t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值h_k，t-1在调制时的权重矩阵，b_g表示调制的偏差向量；表示逐元素相乘运算；tanh( )表示将小于0的变量变成0，大于0的变量保持不变的激活函数；

步骤2.1.3、所述自适应小波变换单元利用式(8)-式(10)对所述输入门的故障信息输出值进行时频域分解，得到第k条故障数据的第t个时间步长的故障信息输出在第j级时域、第q级频域上的自适应小波系数w_{t，k，j，q}：

式(8)-式(10)中，w表示自适应Morlet小波的中心频率，b表示自适应Morlet小波的平移尺度；W_w表示输入门的故障信息输出值获得小波中心频率时的权重矩阵，b_w表示获得小波中心频率的偏差向量；W_b表示输入门的故障信息输出值在获得平移尺度时的权重矩阵，b_b表示所述平移尺度的偏差向量；i表示虚数单位，exp( )表示指数运算；j表示小波时域分解维度，q表示小波频域分解维度；

步骤2.1.4、所述输出门利用(11)得到第k条故障数据的第t个时间步长的内存状态S_k，t：

式(11)中，S_k，t-1表示第k条故障数据的第t-1个时间步长的内存状态；当t＝1时，令S_k，t-1为零；表示D×J×Q维实数矩阵；

所述输出门利用式(12)得到第k条故障数据的第t个时间步长的内存状态S_k，t的幅值A_k，t：

式(12)中，Re和Im分别表示取实部和取虚部的函数；

所述输出门利用式(13)得到第k条故障数据的第t个时间步长的细胞状态c_k，t；

式(13)中，表示第t个时间步长在第j级时域、第q级频域上细胞状态的权重矩阵，表示第t个时间步长在第j级时域、第q级频域上细胞状态的幅值，表示第t个时间步长在第j级时域、第q级频域上细胞状态的偏差向量；

所述输出门利用式(14)对第k条故障数据的第t个时间步长数据x_k，t和第k条故障数据的第t-1个时间步长的故障信息隐藏状态值h_k，t-1进行处理并得到第k条故障数据的第t个时间步长的复合信号o_k，t：

o_k，t＝sigmoid(W_ox_k，t+U_oh_k，t-1+b_o) (14)

式(14)中，W_o和U_o分别表示输出门对第k条故障数据的第t个时间步长数据x_k，t和第k条故障数据的第t-1个时间步长故障信息隐藏状态值h_k，t-1在输出时的权重矩阵，b_o表示输出门的偏差向量；

所述输出门利用式(15)得到第k条故障数据的第t个时间步长的故障信息隐藏状态值h_t，从而得到第k条故障所有时间步的故障信息隐藏状态H_k＝{h_k，1，h_k，2…h_k，t}：

步骤2.2、所述Attention层利用式(16)得到第k条故障所有时间步的故障信息隐藏状态H_k＝{h_k，1，h_k，2…h_k，t}的特征向量u_k＝{u_k，1，u_k，2…u_k，t}，其中，u_k，t表示第k条故障的第t时间步的特征向量；

u_k，t＝W_uH_k+b_u (16)

式(16)中，W_u和b_u分别表示特征向量的权重矩阵和偏差向量；

所述Attention层利用式(17)得到第k条故障的第t个时间步的特征向量u_k，t的标准化权重α_k，t：

式(17)中，表示第k条故障的第t个时间步的特征向量u_k，t的转置，u_w是随机初始化的总体故障特征向量，并在网络训练过程中共同学习；

所述Attention层利用式(18)得到加权平均后的第k条故障特征向量V_k：

步骤2.3、利用加权平均后的故障特征向量V_k进行故障分类；

步骤2.3.1、所述故障特征向量V_k输入全连接层中，并利用式(19)得到第k条带有标签的故障数据x_k对应所有故障类型N的概率值P(x_k|N)；

P(x_k|N)＝softmax(W_pV_k+b_p) (19)

式(19)中，W_p和b_p分别表示加权平均后的故障特征向量V的权重矩阵和偏差向量；softmax表示激活函数；

步骤2.3.2、利用式(20)构建交叉熵损失函数L_log(y_k，n，P_k，n)：

式(20)中，P_k，n表示第k条故障数据预测为第n个标签的概率；

步骤2.3.3、基于所述训练集T_r，并利用反向传播和梯度下降法对所述损失函数L_log(y_k，n，P_k，n)进行训练，当训练轮次达到最大训练轮次Epoch时，或损失函数L_log达到最小时，停止训练，从而得到训练好的自适应小波变换时频记忆递归神经网络，用于对所输入的故障数据集合映射对应故障类别标签。