[发明专利]基于词袋模型的长文本分类方法、装置、计算机设备及存储介质

权利要求书

1.一种基于词袋模型的长文本分类方法，其特征在于，包括：

获取待分类的长文本；

根据预设规则滤除所述长文本中的噪音字符；

基于第一词袋模型，从滤除所述噪音字符的长文本提取第一词袋特征向量，所述第一词袋模型的词典包括若干词语；

基于第二词袋模型，从滤除所述噪音字符的长文本提取第二词袋特征向量，所述第二词袋模型的词典包括若干单个文字；

基于分类模型，根据所述第一词袋特征向量和第二词袋特征向量对所述待分类的长文本进行分类以得到分类数据。

2.如权利要求1所述的长文本分类方法，其特征在于，所述根据预设规则滤除所述长文本中的噪音字符，具体包括：

获取预设的停用词库，所述停用词库包括若干停用词；

若在所述长文本中查找到所述停用词，将所述长文本中的所述停用词删除或者以预设符号替换。

3.如权利要求1所述的长文本分类方法，其特征在于，所述从滤除所述噪音字符的长文本提取第一词袋特征向量，具体包括：

初始化全零的第一词袋特征向量，所述第一词袋特征向量中的元素与所述第一词袋模型的词典中的词语一一对应；

统计各所述词语在滤除所述噪音字符的长文本中出现的次数；

根据所述词语在所述长文本中出现的次数对所述第一词袋特征向量中对应的元素赋值；

所述从滤除所述噪音字符的长文本提取第二词袋特征向量，具体包括：

初始化全零的第二词袋特征向量，所述第二词袋特征向量中的元素与所述第二词袋模型的词典中的单个文字一一对应；

统计各所述单个文字在滤除所述噪音字符的长文本中出现的次数；

根据所述单个文字在所述长文本中出现的次数对所述第二词袋特征向量中对应的元素赋值。

4.如权利要求3所述的长文本分类方法，其特征在于，在所述基于分类模型，根据所述第一词袋特征向量和第二词袋特征向量对所述待分类的长文本进行分类以得到分类数据之前，还包括：

基于第一降维模型对所述第一词袋特征向量进行降维；

基于第二降维模型对所述第二词袋特征向量进行降维；

所述基于分类模型，根据所述第一词袋特征向量和第二词袋特征向量对所述待分类的长文本进行分类以得到分类数据，具体包括：

基于分类模型，根据降维后的第一词袋特征向量和降维后的第二词袋特征向量对所述待分类的长文本进行分类以得到分类数据。

5.如权利要求4所述的长文本分类方法，其特征在于，所述第一降维模型的训练包括：

获取初始的第一降维模型，所述第一降维模型包括第一编码层和第一解码层；其中所述第一编码层输入的维数、所述第一解码层输出的维数均等于所述第一词袋模型的词典中词语的数目，所述第一编码层的输出作为所述第一解码层的输入；

将第一降维训练样本输入所述第一降维模型，以获取所述第一解码层的输出向量；

根据所述第一解码层的输出向量和所述第一降维训练样本之间的损失调整所述第一降维模型的参数；

若所述输出向量和所述第一降维训练样本之间的损失满足预设的训练条件，将所述第一编码层的输出作为所述一降维模型的输出；

所述第二降维模型的训练包括：

获取初始的第二降维模型，所述第二降维模型包括第二编码层和第二解码层；其中所述第二编码层输入的维数、所述第二解码层输出的维数均等于所述第二词袋模型的词典中单个文字的数目，所述第二编码层的输出作为所述第二解码层的输入；

将第二降维训练样本输入所述第二降维模型，以获取所述第二解码层的输出向量；

根据所述第二解码层的输出向量和所述第二降维训练样本之间的损失调整所述第二降维模型的参数；

若所述输出向量和所述第二降维训练样本之间的损失满足预设的训练条件，将所述第二编码层的输出作为所述二降维模型的输出。