[发明专利]一种基于CNN与Bi-GRU的文本分类方法

说明书

本发明公开了一种基于CNN与Bi‑GRU的文本分类方法，包括如下步骤：步骤一、对文本数据进行卷积神经网络建模，得到包含局部隐含信息的第一种文本特征表达式；步骤二、对文本数据进行Bi‑GRU神经网络建模，得到包含整个句子两个方向的序列信息的第二种文本特征表达式；步骤三、对步骤一和步骤二得到的两种文本特征表达式进行特征融合，利用LSSVM分类器进行分类。利用本发明的方法不但捕捉句子局部特征及上下文语义信息，还通过融合两种不同的文本特征表达，得到文本更多样化、丰富的特征表达，进一步提高分类的准确性。

技术领域

本发明涉及一种基于CNN与Bi-GRU的文本分类方法。

背景技术

文本分类技术是信息检索和文本挖掘的重要基础，其主要任务是在预先给定的类别标记集合下，根据文本内容判定它的类别。文本分类在自然语言处理与理解、信息组织与管理、内容信息过滤等领域都有着广泛的应用。文本分类有多种常用的方法，例如基于词典和规则的无监督方法，基于机器学习的有监督方法。基于词典的方法，利用权威的词典，依照经验人工构造特征，模型准确率较高，但由于词典覆盖率较低，导致模型召回率较低。基于机器学习的有监督方法，利用最大熵模型、朴素贝叶斯、KNN等机器学习方法建模。这些机器学习方法较成熟，理论基础较为坚实，应用广泛，分类效果较好，但受限于文本规模。因为基于机器学习方法需要有类别标签的文本作为训练的输入，而文本的标签需要花费大量的人力物力，因此数据规模一般较小。最近，基于深度学习的方法引起广大学者的重视。基于深度学习的方法只需要少量标识文本和大量未标识文本即可。与传统的机器学习方法不同，基于深度学习的方法不需要手动构造特征，而是通过层次结构自动学习特征，高层的特征通过底层特征的不同组合方式构建，得到的特征具有更丰富的抽象表达能力。

获取输入文本句子的句向量的方法可以分成两类，一种方法是基于词向量的方法，通过不同的组合方式构造句向量，称为组合法。另一种是不通过词向量，直接训练句子得到句向量，称为分布法。

组合法中可使用不同的神经网络结构组合句向量，例如卷积神经网络、循环神经网络等。卷积神经网络是一种经典的神经网络结构，具有局部感知和共享参数的特点，能够较好捕获到局部信息。但普通的卷积神经网络设定固定的过滤器和池化操作类型，捕获到的局部信息粒度固定、较为死板，缺少多样性。基于时间序列的循环神经网络，会出现梯度消失的问题。因此为解决这个问题，LSTM及GRU被提出，通过引进了遗忘门等机制，解决了长时依赖问题，能够较好地捕获到序列信息。但普通的循环神经网络对序列信息只是单方向建模，而文本不具有方向性，这样会使得捕获的序列信息较为片面。

卷积神经网络(CNN)和循环神经网络(RNN)在自然语言处理上得到广泛应用，但由于自然语言在结构上存在着前后依赖关系，仅依靠卷积神经网络实现文本分类将忽略词的上下文含义，且传统的循环神经网络存在梯度消失或梯度爆炸问题，限制了文本分类的准确率。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于CNN与Bi-GRU的文本分类方法。本发明使用CNN和Bi-GRU神经网络获取文本丰富的特征表达，使用较成熟的LSSVM分类器代替神经网络最后一层softmax层作为文本分类器，结合了深度学习能够得到抽象的高层特征表达的特点与机器学习方法成熟、理论基础较为坚实、分类效果较好、应用广泛的优点。利用本发明的方法不但捕捉句子局部特征及上下文语义信息，还通过融合两种不同的文本特征表达，得到文本更多样化、丰富的特征表达，进一步提高分类的准确性。

本发明解决其技术问题所采用的技术方案是：一种基于CNN与Bi-GRU的文本分类方法，包括如下步骤：

步骤一、对文本数据进行卷积神经网络建模，得到包含局部隐含信息的第一种文本特征表达式；

步骤二、对文本数据进行Bi-GRU神经网络建模，得到包含整个句子两个方向的序列信息的第二种文本特征表达式；