[发明专利]基于ResLCNN模型的短文本分类方法

权利要求书

1.一种基于ResLCNN模型的短文本分类方法，其特征在于，采用多层LSTM获取文本序列的长距离依赖特征，利用CNN层通过卷积操作获取句子局部特征，有效结合LSTM和CNN从时序和空间两个层次获取特征，并借鉴残差网络理论，在第一层长短时记忆网络层与卷积神经网络层之间加入恒等映射，构建残差层，缓解了深层模型梯度消失。

2.如权利要求1所述的方法，其特征在于，包括步骤如下：

(1)输入层，预处理数据集。获取输入文本中每个单词的词向量。按照文本中单词顺序，构成表示文本的词向量矩阵M₀。

(2)长短时记忆网络层。以词向量构成的文本矩阵M₀作为输入，长短时记忆网络层根据输入门、遗忘门、输出门过滤信息，并通过线性自连接的记忆单元积累信息，将其作为中间产物来计算当前时刻隐藏层输出，获得文本时序上的特征矩阵M₁。

(3)残差层。残差层有两条数据流，一条是恒等映射，结果和输入等同；另一条是残差块，包含两层长短时记忆网络，是ResLCNN模型的第二和第三网络层，对步骤(2)获得的特征矩阵M₁进行同样的时序处理，学习更深层次的长距离依赖特征。残差层的输出是残差块与恒等映射两条数据流结合后的特征矩阵M₃。

(4)卷积神经网络层。使用多个卷积核对残差层输出的特征矩阵M₃进行卷积运算，提取局部卷积特征；采用max-over-time pooling算法(此算法在本领域已属现有技术)对局部卷积特征矩阵进行下采样，选取最优的特征，将得到的全局特征矩阵转换为语义特征向量M₄。

(5)Softmax分类器。将文本的语义特征向量赋予分类器，对文本的类别进行预测。

3.如权利要求2所述的方法，其特征在于，所述步骤(1)输入层对数据集预处理的具体方法如下：

对于长度为n的文本，首先从Word2Vec(谷歌词向量)和GloVe(全局词向量)中查询每个单词对应的词向量，没有的采用正态分布函数生成；然后，将两种词向量按照公式(1)相结合得到对应单词的词向量x。随后，将每个单词的词向量按照文本顺序进行连接，见公式(2)，得到词向量矩阵M₀。

x=Word2VecGloVe---(1)]]>

M₀＝[x₁,x₂,...,x_n](2)