[发明专利]一种基于网络特征融合的文本分类方法

说明书

本发明公开了一种基于网络特征融合的文本分类方法，针对传统卷积神经网络无法关注文本上下文含义以及传统循环神经网络存在的短时记忆和梯度消失问题，提出了基于Res2Net和BiLSTM网络融合的模型，能够有效地解决上述网络存在的问题，更好地对文本进行分类。本发明利用多尺度残差网络Res2Net对文本的局部特征进行提取，同时结合双向长短时记忆网络BiLSTM对文本上下文特征进行提取，同时在BiLSTM网络层后加上传统机器学习方法——条件随机场CRF来预测标签与标签之间的关系，达到文本正确分类的效果。本发明在不过多增加网络参数的情况下，通过融合能够有效地提升文本分类的准确率。

技术领域

本发明属于深度学习和自然语言处理技术领域，具体涉及一种基于网络特征融合的文本分类方法的设计。

背景技术

随着互联网在现今社会上的大规模使用，网络上的信息资源正以指数级速度增长，在各种形式的信息中，非结构化的文本信息是相当重要的信息资源之一。在各类海量的文本信息中，如何获取最有效的信息资源是亟待解决的问题，而文本分类能够更好地帮助人们利用高效简洁的算法或模型管理分类好庞杂的文本信息，从中快速准确地获取所需信息。然而传统的机器学习文本分类算法需要进行大量的人工设计特征等预处理操作，提升了复杂度。基于此，利用深度学习模型提取文本特征，能够显著地提升文本分类速度并且不需要进行大量的人工预处理，取得比传统文本分类更好的分类效果。

在众多深度学习网络模型中，传统的卷积神经网络具有处理高维及非线性映射关系问题的能力，可以将预处理过的词向量作为输入，利用卷积神经网络实现句子级别的分类。但是传统的卷积神经网络更多地关注于输入向量的局部特征，忽略了词的上下文含义，从而对文本分类的准确率有所影响。从关注上下文的层面来看，可以通过使用循环神经网络来解决问题。传统的循环神经网络对于当前的输出会考虑其前面的输出，针对时间序列问题形成类似记忆的功能，具体表现在循环神经网络会将上一时刻的网络状态信息作用于下一个时刻的网络状态。然而传统的循环神经网络虽然通过记忆注意到了文本的上下文关系，但是由于其每个当前的输出层只关注前一时刻的网络状态并且在求解时涉及时间序列上大量的求导运算，从而导致了无法记忆长时间序列上的信息以及梯度消失等问题。

发明内容

本发明的目的是为了解决传统卷积神经网络无法关注文本上下文含义以及传统循环神经网络存在的短时记忆和梯度消失的问题，提出了一种基于网络特征融合的文本分类方法，采用基于Res2Net(多尺度残差网络)和BiLSTM(双向长短时记忆网络)融合的模型，能够有效地解决上述网络存在的问题，更好地对文本进行分类。

本发明的技术方案为：一种基于网络特征融合的文本分类方法，包括以下步骤：

S1、对待分类文本进行预处理，并通过词向量表示方法将预处理后的文本数据集处理为词向量集。

S2、将词向量集拼接为矩阵，并将矩阵输入至Res2Net网络中进行训练，输出得到文本数据集的局部特征。

S3、将词向量集输入至BiLSTM网络中进行训练，输出得到文本数据集的上下文特征。

S4、采用CRF条件随机场打分机制对文本数据集的上下文特征进行打分，选取得分最高的标签序列集作为文本数据集的最佳上下文特征序列集合。

S5、将文本数据集的局部特征和最佳上下文特征进行拼接融合，得到融合特征。

S6、将融合特征输入至softmax分类器中进行分类，得到文本分类结果。

进一步地，步骤S1中对待分类文本进行预处理的方法具体为：去除无用的符号、保留文本数据集只含有中文以及去除停用词。

进一步地，步骤S2中的Res2Net网络包括依次连接的第一1×1卷积层、3×3卷积层和第二1×1卷积层，每层卷积层均包括relu激活函数，且第二1×1卷积层的relu激活函数之前用残差块进行连接。