[发明专利]一种基于深度学习复合模型的长文本分类方法

权利要求书

1.一种基于深度学习复合模型的长文本分类方法，其特征在于：该方法包括：

根据长文本的分段格式提取长文本的标题内容与正文内容；

分别对标题内容及正文内容进行预处理，所述预处理包括分词、词性标注与去停用词；

将预处理后的标题内容输入至经过训练的短文本分类模型，得到用于表征标题内容的类别的标签A；

将预处理后的正文内容输入至经过训练的长文本分类模型，得到用于表征正文内容的类别的若干个标签B；

将若干个标签B分别与标签A进行对比，判断两者间的关联程度；

根据关联程度的由高至低对标签B进行分级排序。

2.根据权利要求1所述的一种基于深度学习复合模型的长文本分类方法，其特征在于：所述预处理采用预先建立的基于字符串的词典表进行，使用jieba对文本内容进行分词，在分词过程中判断词性，并进行相应的词性标注。

3.根据权利要求2所述的一种基于深度学习复合模型的长文本分类方法，其特征在于：在词典表内建立停用词字典，在完成词性标注后，对照停用词字典对文本中包含的停用词进行删除。

4.根据权利要求1所述的一种基于深度学习复合模型的长文本分类方法，其特征在于：所述短文本分类模型通过将一个单词w_i经过双向RNN得到c_l(w_i)，c_r(w_i)，其中，c_l(w_i)，c_r(w_i)分别保存了单词w_i的上下文，接着将c_l(w_i)，c_r(w_i)与w_i对应的词向量拼接在一起得到x_i，将x_i经过一个全连接网络得到y_i，将y_i经max-pooling处理后输出标签A。

5.根据权利要求1所述的一种基于深度学习复合模型的长文本分类方法，其特征在于：所述长文本分类模型通过通过attention机制将一句话合成为一个向量s_i，之后再次通过attention机制将长文本中每段文字的所有句子合成为一个向量v，再接一个全连接层对每个v进行预测，并输出对应的用于表征正文内容的类别的若干个标签B。

6.根据权利要求5所述的一种基于深度学习复合模型的长文本分类方法，其特征在于：长文本分类模型在合词成句时，首先使用一个双层的GRU获得第i个句子第t个单词的隐含表示h_it；接下来，h_it首先经过全连接层生成u_it，然后计算u_it与向量u_w的相似度/alpha_it，通过相似度/alpha_it和h_it得到句子的加权表示，其中，u_w是网络中可学习的参数，用以衡量单词对分类任务的重要程度。