[发明专利]用于对文本集进行分类的方法、系统及存储介质

权利要求书

1.一种用于对文本集进行分类的方法，其特征在于，所述方法包括：

读取需要被分类的文本集并对所述文本集进行预处理；

确定所述文本集的困惑度；

在所述困惑度取最小值的情况下，确定所述文本集的主题数；

根据所述主题数采用BTM模型生成所述文本集的主题向量；

采用Doc2vec模型根据所述文本集生成特征向量；

合并所述主题向量和所述特征向量以生成所述文本集的特征空间向量；

将所述特征空间向量作为SVM分类器的原始输入空间向量输入SVM分类器以进行分类。

2.根据权利要求1所述的方法，其特征在于，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：

采用PV-DM模型根据所述文本集生成第一特征向量。

3.根据权利要求1所述的方法，其特征在于，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：

采用PV-DBOW模型根据所述文本集生成第二特征向量。

4.根据权利要求1所述的方法，其特征在于，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：

采用PV-DM模型根据所述文本集生成第一特征向量；

采用PV-DBOW模型根据所述文本集生成第二特征向量；

合并所述第一特征向量和所述第二特征向量以生成特征向量。

5.根据权利要求1所述的方法，其特征在于，所述读取需要被分类的文本集并对所述文本集进行预处理包括：

对所述文本集进行脱敏处理；

去除所述文本集中的停用词；

根据预设的自定义词典对所述文本集进行分词。

6.根据权利要求1所述的方法，其特征在于，所述根据所述主题数采用BTM模型生成所述文本集的主题向量包括：

将所述文本集输入所述BTM模型中，以生成所述文本集的所述主题向量。

7.根据权利要求2或4所述的方法，其特征在于，所述采用PV-DM模型根据所述文本集生成第一特征向量包括：

根据预设的第一滑动取词窗按照先后顺序从所述文本集的段落中选取包括至少一个单词的第一单词集；

根据所述第一单词集中的单词的向量和段落向量预测所述第一单词集后的单词以作为第一预测单词；

将所述第一预测单词的向量与所述文本集中的所述第一单词集后的第一实际单词的向量进行比对，确定所述第一预测单词的向量与所述第一实际单词的向量的差异的第一损失函数；

采用梯度下降法对所述第一损失函数进行优化以修正所述第一单词集中的单词的向量和所述段落向量直到所述第一损失函数收敛；

遍历所述文本集中的每个所述第一单词集以生成所述第一特征向量。

8.根据权利要求3或4所述的方法，其特征在于，所述采用PV-DBOW模型根据所述文本集生成第二特征向量包括：

根据预设的第二滑动取词窗按照先后顺序从所述文本集的段落中选取包括至少三个单词的第二单词集；

根据所述段落的段落向量预测所述第二单词集中的一个随机的单词以作为第二预测单词。

将所述第二预测单词的向量与所述文本集中的被预测的第二实际单词的向量进行比对，确定所述第二预测单词与所述第二实际单词的差异的第二损失函数；

采用梯度下降法对所述第二损失函数进行优化以修正所述第二单词集中的单词的向量和所述段落向量直到所述第二损失函数收敛；

遍历所述文本集中的每个所述第二单词集以生成所述第二特征向量。

9.一种用于对文本集进行分类的系统，其特征在于，所述系统包括：

文本读取模块，用于读取需要被分类的文本；

处理模块，与所述文本读取模块连接，用于通过所述文本读取模块接收所述文本并执行上述权利要求1至8任一所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有控制指令，所述控制指令用于执行以使得计算机执行上述权利要求1至8任一所述的方法。