[发明专利]一种基于深度学习的组合式文本分类方法

说明书

技术领域

本发明涉及自然语言处理领域，尤其是涉及一种基于深度学习的组合式文本分类方法。

背景技术

随着互联网在全球范围的飞速发展，互联网已经逐渐成为人们获取信息，进行信息传播的主要载体之一。基于这一点在互联网成为重要的信息传播工具，存在着海量文本数据的情况下，基于自然语言处理领域，结合相关领域实现对文本的分类拥有十分深远的意义。目前的文本分类技术主要可以分成两种，一种是基于机器学习的文本分类技术，另一种是基于深度学习的文本分类技术。目前基于深度学习的文本分类技术已经逐渐成为文本分类的主流。

但是基于机器学习的文本分类技术在面对大规模，多种类的文本分类情况下，由于来自互联网文本存在着稀疏性，不规范性等特点，因而使得利用这些传统的分类算法在对文本进行分类的时候准确率普遍较低。目前基于深度学习的文本分类方法多采用单一的深度学习模型进行分类，存在着训练语料要求高和移植性扩展性差，又由于单一深度学习模型提取到特征的局限性，从而导致在分类类别较多情况下分类效果较差。

论文《基于深度学习混合模型的文本分类研究》公开了一种基于混合模型的文本分类方法，该方法将待分类文本通过混合稀疏自动编码器和深度置信网络这两种常见的深度学习模型所构成的混合模型，再通过softmax回归作为分类层，得到文本分类结果，该方法虽然是针对两种深度学习模型进行混合，然而该种混合针对的是特定的深度学习模型，同时该种混合是将待分类文本依次通过两层深度学习模型来进行分类得到的，即将两种深度学习模型进行串联，该串联得到的结果实际上依旧可以看成是一种深度学习模型，并没有从根本上解决单一深度模型提取的特征具有局限性这一问题，因而在分类类别较多的情况下，得到的分类结果仍然有缺陷。

发明内容

本发明的目的是针对上述问题提供一种基于深度学习的组合式文本分类方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的组合式文本分类方法，所述方法包括下列步骤：

1)对待分类的文本进行预处理；

2)将预处理后的文本通过不同的深度学习模型，得到与每一个深度学习模型对应的特征提取结果；

3)通过全连接层对步骤2)中得到的所有特征提取结果进行组合，得到组合特征向量；

4)将步骤3)得到的组合特征向量作为输入进行分类识别，得到文本的所属类别。

优选地，所述步骤1)包括：

11)对待分类的文本进行中文分词；

12)对经过步骤11)后得到的每个分词结果进行词向量训练，得到预处理后的文本。

优选地，所述深度学习模型包括卷积神经网络模型、长短期记忆循环神经网络模型或卷积-长短期记忆循环神经网络模型。

优选地，所述通过卷积神经网络模型得到的特征提取结果具体为：

其中，F_CNN为通过卷积神经网络模型得到的特征提取结果，为通过第i个卷积窗口得到的特征向量经过最大池化操作后得到的特征值。

优选地，所述通过长短期记忆循环神经网络模型得到的特征提取结果具体为：

F_LSTM＝h_n

其中，F_LSTM为通过长短期记忆循环神经网络模型得到的特征提取结果，h_n为预处理后的文本中最后一个词对应时刻的长短期记忆神经元的输出。

优选地，所述通过卷积-长短期记忆循环神经网络模型得到的特征提取结果具体为：

F_C-LSTM＝h_n-h+1

其中，F_C-LSTM为通过卷积-长短期记忆循环神经网络模型得到的特征提取结果，h_n-h+1为以预处理后的文本在通过卷积神经网络得到的结果作为输入，通过长短期记忆神经网络模型计算方法得到的输出结果。

优选地，所述步骤3)包括：

31)对步骤2)中得到的所有的特征提取结果进行加权求和；

32)通过全连接层对步骤31)中加权求和后的特征提取结果进行训练，将加权求和后的特征提取结果映射到样本隐层特征空间中，得到组合特征向量。

优选地，所述组合特征向量包括：