[发明专利]基于深度学习的输变电设备缺陷文本分类方法及系统

权利要求书

1.一种基于深度学习的输变电设备缺陷文本分类方法，其特征在于，包括以下步骤：

S1：将获取的输变电设备缺陷文本预处理，然后将预处理后的输变电设备缺陷文本进行词嵌入得到带电力语义特征的第一词向量；

S2：通过双向长短时记忆网络获取输变电设备缺陷文本前向和后向特征信息，输出隐藏层状态向量；

S3：利用自注意力机制对隐藏层状态向量进行加权变换，获取深层语义特征，得到最终的待分类句向量；

S4：将所述待分类句向量经过全连接层输出至Softmax分类器，获得输变电设备缺陷文本分类结果。

2.根据权利要求1所述的方法，其特征在于，所述预处理包括对所述输变电设备缺陷文本进行分词、去除停用词和统一化用语处理。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1中将预处理后的输变电设备缺陷文本进行词嵌入得到带电力语义特征的第一词向量的步骤具体包括：

读取预处理后的输变电设备缺陷文本，统计词频信息；

构建词典，并初始化哈夫曼树以及随机初始化词向量；

以行为单位训练模型，获取当前行中一个输入样本；

累积上下文词向量中每个维度的值并求平均得到投影层向量；

遍历当前词到根节点经过的每个中间节点；

计算中间节点对应梯度g*学习速率，刷新投影层到该中间节点的误差向量，刷新中间节点向量，刷新上下文词向量。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括以下步骤：

定义前向LSTM结构和后向LSTM结构，采用动态RNN单元对网络输出的结果进行拼接，然后输入到下一层双向长短时记忆网络，将最后一层Bi-LSTM输出的结果通过split方法分割成前向和后向的输出；

将前向和后向的输出相加得到最后的隐藏层状态。

5.根据权利要求4所述的方法，其特征在于，所述LSTM结构中每一时间状态通过以下方式进行更新公式：

其中，为LSTM状态和LSTM内部状态的激励函数，设置为双曲正切函数tanh，b为偏置常量，下标中i、f、o分别表示输入门、遗忘门和输出门；g为随时间步更新的控制门单元， 为当前t时刻状态， 为前一时间状态， 为当前时刻的输入， 为权重值， 为输入门权重值， 为输出门权重值， 为遗忘门权重值， 为当前时刻的抽象化信息， 为前一时间步的抽象化信息， 为权重系数。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3中深层语义特征通过以下方式获得：

；

其中Q=W^qH，K= W^kH，V=W^vH，W^q、W^k、W^v均是初始化权重矩阵，H是隐藏层状态矩阵，Self-attention为自注意力值，Q为quary值，K为key值，V为value值， 为词向量维度，T为矩阵转置。

7.一种基于深度学习的输变电设备缺陷文本分类系统，其特征在于，包括：

文本处理模块，用于将获取的输变电设备缺陷文本预处理，然后将预处理后的输变电设备缺陷文本进行词嵌入得到带电力语义特征的第一词向量；

语义特征提取模块，与所述文本处理模块相连，用于通过双向长短时记忆网络获取输变电设备缺陷文本前向和后向特征信息，输出隐藏层状态向量，并用于利用自注意力机制对隐藏层状态向量进行加权变换，获取深层语义特征，得到最终的待分类句向量；

文本分类模块，用于将接收的所述待分类句向量输入全连接层输出至Softmax分类器，获得输变电设备缺陷文本分类结果。

8.根据权利要求7所述的系统，其特征在于，所述文本处理模块对输变电设备缺陷文本进行预处理包括对所述输变电设备缺陷文本进行分词、去除停用词和统一化用语处理。