[发明专利]一种基于ERNIE-BiGRU的中文文本分类方法

说明书

本发明涉及一种基于ERNIE‑BiGRU的中文文本分类方法，该方法包括以下步骤：步骤1：对待中文文本分类的数据集进行预处理，得到经过预处理的数据集；步骤2：建立ERNIE‑BiGRU整体模型，将经过预处理的数据集输入其中的ERNIE预训练模型，得到句子级的词向量表示；步骤3：将句子级的词向量表示输入ERNIE‑BiGRU整体模型中的BiGRU层进一步提取句子中每个词的上下文信息；步骤4：将句子级的词向量表示和句子中每个词的上下文信息输入ERNIE‑BiGRU整体模型中的softmax层，得到最终中文文本分类结果。与现有技术相比，本发明具有模型的泛化能力强，对文本特征的提取能力强等优点。

技术领域

本发明涉及一种新型文本分类方法，尤其是涉及一种基于ERNIE-BiGRU的中文文本分类方法。

背景技术

文本分类是自然语言处理领域重要的一部分，其研究内容主要包括新闻文本的类别划分以及情感分析。得益于网络媒体的迅速发展，使得该领域的研究具备海量文本数据的支持，这些数据蕴含着丰富的信息，如何管理这些数据并从这些数据中准确高效地获取有价值的信息，这是现在很多研究者正在研究的问题。

近年来，对于文本分类的研究已经取得了不错的进展，Pang等利用词袋模型，结合贝叶斯、最大熵、支持向量机等分类器对电影评论数据进行情感分类，并取得了不错的结果。但随着技术的更新，浅层的分类模型在分类任务中无法很好的保留文本上下文信息的问题逐渐暴露出来，因此研究者开始将目光转向对深度学习模型的研究。

深度学习模型比起传统的浅层模型，强调模型结构的深度和对特征的学习，因而广泛应用于图像领域的研究。LeCun等人将卷积神经网络(Convolutional NeuralNetwork，CNN)应用于文本分类任务中，显著地提升了文本分类的准确率。Mikolov等人提出将循环神经网络(Recurrent Neural Network，RNN)应用于文本分类任务中，相较于CNN利用卷积层提取特征，RNN由于当前时间的输出是根据上一时间的输出和当前时间的输入共同决定，所以能更好的学习该词上下文的信息。但是RNN模型随着时间序列的增长，模型容易出现梯度消失和梯度爆炸的问题，导致网络无法从训练数据中得到很好的学习。为了解决RNN结构上的缺陷，基于RNN的各种变体孕育而生，如长短期记忆神经网络(Long Short-Term Memory，LSTM)、门限循环单元(Gated Recurrent Unit，GRU)等，并在自然语言任务中取得了不错的结果。

这些模型的共性是对分词后的文本利用词嵌入模型(word2vec)将每个单词映射成一个向量，将文本细化成句，词级别，然后将结果传入下游模型进行特征提取和分类处理。因此，文本信息的特征表示好坏与否对下游模型的准确率影响重大，而文本本身存在特征稀疏的情况。分词后的文本特征已经有相当程度的丢失，词嵌入模型的输出结果并不能完整的表示原始文本的语义。另一方面，由于应用场景的不同，使得每一次任务都需要对当前场景下的语料进行训练，这对于模型的灵活性和泛化性都是较大的挑战。因此，为了最大限度的保留句子本身的含义，人们开始将研究重点转向以句子为单位的特征表示方法。