[发明专利]一种获取多层次上下文语义的文本分类方法

说明书

本发明涉及一种获取多层次上下文语义的文本分类方法，属于自然语言处理文本分类技术领域。使用稠密连接的双向循环神经网络Bi‑LSTM获取多层次的上下文语义，使用卷积神经网络CNN的max‑pooling层对抽取的多层次上下文语义进行语义特征提取，再将文本中每个词的词向量和该词的多层次上下文语义特征向量进行连接得到的结果输入到分类层，实现文本分类。所述方法最大程度的保留了上下文语义信息；每个中间层都能获取到一定层次的语义，且将当前层获得的语义传递到下一层，获取更深层次的语义；极大的降低了神经网络梯度消失的概率；既保留了卷积神经网络特征抽取能力强的优点，又省去了卷积层，从而降低了训练参数和时间复杂度。

技术领域

本发明涉及一种获取多层次上下文语义的文本分类方法，属于自然语言处理文本分类技术领域。

背景技术

文本分类是自然语言处理领域的重要研究任务之一，是指按照一定的分类体系或标准进行自动分类标记。从传统的基于统计规则的方法到机器学习方法，再到基于深度学习的文本分类方法，这些方法在某些领域都取得了不错的效果。但在分类准确率上仍存在瓶颈。

传统的统计规则方法主要通过特征选择进行文本分类，特征选择就是选择最能代表文本含义的元素，它在文本分类中起着重要的作用。特征选择不仅可以减少问题的规模，还可以改善分类任务的执行。不同的特征对文本分类任务性能有不同的影响。但是这种方法的缺点是需要大量的人工参与，分类准确率依赖于特征选择的结果。

现有的机器学习算法，如朴素贝叶斯(NB)，支持向量机(SVM)等；深度学习方法，如CNN等更多关注的是特征的抽取。对文本进行自动特征抽取，节省了大量的人工，获取最能表示文本的特征，从而进行分类。然而这些方法忽略了上下文语义在文本分类中的重要性。而上下文语义对文本分类任务的准确率有很大影响。

现有的一些获取文本上下文语义的技术集中在直接获取文本中词的浅层上下文语义。而往往很多有意义的上下文要通过挖掘更多层次的上下文语义获取到。

如何更好的获取文本的上下文语义，从而提高文本分类的准确率，已经成为文本分类领域一个重要的研究方向。然而目前在效率和准确率方面仍然有瓶颈。传统的循环神经网络通过记忆力机制获取上下文语义，然而弊端是容易出现梯度消失的情况，后来出现的LSTM长短时记忆网络，通过长短时的记忆机制，很好的改善了传统循环神经网络容易出现梯度消失的问题。双向LSTM通过增加反向信息能获取更多的上下文语义。

然而这些方法只能获取浅层的上下文语义，多层循环神经网络和Stacked-LSTM等模型可以实现获取深层次的语义信息，但是往往在获取更深层次上下文语义的时候丢失一些浅层上下文语义。目前还没有方法可以很好的获取文本的多层次的上下文语义，缺少语义信息导致文本的特征词语义稀疏也是影响文本分类准确率的一个瓶颈。

本发明针对如何获取多层次的上下文语义信息，抽取文本特征，提高文本分类的准确率，提出了Dense-BLSTM-CNN模型。

发明内容

本发明的目的在于针对现有文本分类技术，存在无法获取多层次的上下文语义信息的不足，提出了一种获取多层次上下文语义的文本分类方法。

本发明的核心思想是：使用稠密连接的双向循环神经网络Bi-LSTM获取多层次的上下文语义，使用卷积神经网络CNN的max-pooling层对抽取的多层次上下文语义进行语义特征提取，再将文本中每个词的词向量和该词的多层次上下文语义特征向量进行连接得到的结果输入到分类层，实现文本分类。

本发明是通过以下技术方案实现。

所述获取多层次上下文语义的文本分类方法，包括如下步骤：

步骤1)对获取数据集中的文本进行分词、预训练词向量以及拼接，生成拼接后的文本矩阵；

其中，获取数据集包括训练集及验证集；

具体包括如下子步骤：