[发明专利]一种基于CNN与Bi-GRU的文本分类方法

权利要求书

1.一种基于CNN与Bi-GRU的文本分类方法，其特征在于：包括如下步骤：

步骤一、对文本数据进行卷积神经网络建模，得到包含局部隐含信息的第一种文本特征表达式；

步骤二、对文本数据进行Bi-GRU神经网络建模，得到包含整个句子两个方向的序列信息的第二种文本特征表达式；

步骤三、对步骤一和步骤二得到的两种文本特征表达式进行特征融合，利用LSSVM分类器进行分类。

2.根据权利要求1所述的一种基于CNN与Bi-GRU的文本分类方法，其特征在于：步骤一所述对文本数据进行卷积神经网络建模的方法为：

1.1)建立两种不同类型的过滤器，一种为整体过滤器，用于匹配整个词向量，另一种为单维过滤器，用于在词向量的每一维上进行匹配；

1.2)对卷积层输出向量使用不同池化操作；

1.3)建立多角度的卷积神经网络，输入文本进行训练；

1.4)训练完成后，去掉最后一层softmax层，输入文本，输出为第一种文本特征表达式。

3.根据权利要求2所述的一种基于CNN与Bi-GRU的文本分类方法，其特征在于：所述整体过滤器对整个词向量进行匹配的方法为：

对于句子输入Input∈R_length×Dim是length个词语序列，每一个词语均由Dim维词向量表示，Input_i∈R_Dim代表词语序列中第i个词向量，Input_i:j代表第i到j个包括第j个词向量的连接，

设一个整体过滤器F为四元组ws,wf,bf,hf，其中ws为滑窗宽度、wf∈R_ws×Dim为过滤器F的权重向量，bf∈R为偏置，hf为激活函数；

当过滤器F应用于输入词语序列Input时，wf与Input内每一个长度为ws的词向量窗口进行内积，加上偏置bf，应用激活函数hf，得到输出向量out_F∈R_1+length-ws；其中第i项out_F[i]＝hf(wf·Input_i:i+ws-1+bf)，其中i∈[1,1+len-ws]。

4.根据权利要求3所述的一种基于CNN与Bi-GRU的文本分类方法，其特征在于：所述单维过滤器对每一维词向量进行匹配的方法为：

设一个单维过滤器F^[m]由ws,wf_m,bf_m,hf_m元组表示，其中ws为滑窗宽度，wf_m∈R_ws为过滤器F^[m]的权重向量，bf_m为偏置，hf_m为激活函数；

当过滤器F^[m]应用于词向量的第m维时，得到输出向量其中第i项其中，代表第i个词向量的第m维，代表第i到j个包括第j个词向量的第m维。

5.根据权利要求4所述的一种基于CNN与Bi-GRU的文本分类方法，其特征在于：所述对卷积层输出向量使用不同池化操作的方法为：

设group(ws,pooling,Input)是针对输入句子Input进行滑窗宽度ws的卷积操作和池化操作的操作对象，其中pooling∈{max,min,mean}；group(ws,pooling,Input)的卷积层具有Num个过滤器，则池化层的输出向量为oG∈R^num，其中第j项

6.根据权利要求2所述的一种基于CNN与Bi-GRU的文本分类方法，其特征在于：步骤二所述对文本数据进行Bi-GRU神经网络建模的方法为：

2.1)建立Bi-GRU循环神经网络模型结构，对于输入文本前向后向序列分别训练一层GRU循环神经网络，并连接同一个输出层，利用该结构对文本进行训练；

2.2)训练完成后，去掉最后一层softmax层，输入文本，输出为第二种文本特征表达式。