[发明专利]文本分类方法、电子设备及计算机存储介质有效
| 申请号: | 202110757754.1 | 申请日: | 2021-07-05 |
| 公开(公告)号: | CN113254655B | 公开(公告)日: | 2021-09-17 |
| 发明(设计)人: | 杜军平;喻博文;邵蓥侠;徐欣;李昂 | 申请(专利权)人: | 北京邮电大学 |
| 主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289;G06F40/35 |
| 代理公司: | 北京金咨知识产权代理有限公司 11612 | 代理人: | 秦景芳 |
| 地址: | 100876 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 分类 方法 电子设备 计算机 存储 介质 | ||
1.一种文本分类方法,其特征在于,包括:
获取多个话题类别和每个话题类别对应的多个词和多个文档;
统计每个话题类别对应的所有文档中包含该话题类别对应的每个词的第一文档数量,以及所有话题类别对应的所有文档中包含每个话题类别对应的每个词的第二文档数量;
计算每个话题类别对应的每个词的第一文档数量与该话题类别对应的该词的第二文档数量的比值,作为该话题类别对应的该词的词对话题覆盖率;
在每个话题类别对应的词的词对话题覆盖率大于设定阈值的情况下,将该话题类别对应的该词选作该话题类别的特征词,并由该话题类别的所有特征词构建为该话题类别的类别特征词袋;
获取待分类文本的文档,对该待分类文本的文档进行分词处理,以得到该待分类文本的文档的词袋模型;
计算该待分类文本的文档的词袋模型与各话题类别的类别特征词袋的相似度;
根据各话题类别对应的相似度确定该待分类文本的文档所属的话题类别。
2.如权利要求1所述的文本分类方法,其特征在于,根据各话题类别对应的相似度确定该待分类文本的文档所属的话题类别,包括:
选择所有话题类别对应的相似度中最大的相似度对应的话题类别作为该待分类文本的文档所属的话题类别。
3.如权利要求1所述的文本分类方法,其特征在于,根据各话题类别对应的相似度确定该待分类文本的文档所属的话题类别,包括:
以每个话题类别对应的相似度作为一个向量分量,构建向量,作为该待分类文本的文档对应于所有话题类别的相似度向量;
利用向量分类模型对该相似度向量进行分类处理,得到该待分类文本的文档所属的话题类别。
4.如权利要求3所述的文本分类方法,其特征在于,向量分类模型为逻辑回归模型、SVM模型或决策树模型。
5.如权利要求3所述的文本分类方法,其特征在于,向量分类模型是利用按该待分类文本的文档对应于所有话题类别的相似度向量的构建方式构建的训练样本预先训练得到。
6.如权利要求1所述的文本分类方法,其特征在于,
由该话题类别的所有特征词构建为该话题类别的类别特征词袋,包括:
利用设定哈希函数对该话题类别的所有特征词进行哈希存储,得到该话题类别的类别特征词袋;
计算该待分类文本的文档的词袋模型与各话题类别的类别特征词袋的相似度,包括:
遍历该待分类文本的文档的词袋模型中的词,并利用设定哈希函数计算遍历得到的词的哈希值,并利用遍历得到的词的哈希值在每个话题类别的类别特征词袋进行查找,以根据查找结果得到该待分类文本的文档的词袋模型与各话题类别的类别特征词袋的相似度。
7.如权利要求1所述的文本分类方法,其特征在于,计算该待分类文本的文档的词袋模型与各话题类别的类别特征词袋的相似度,包括:
遍历该待分类文本的文档的词袋模型中的词,并查找每个话题类别的类别特征词袋是否存在遍历的词,得到该待分类文本的文档的词袋模型在每个话题类别的类别特征词袋中出现的词的数量,作为该待分类文本的文档的词袋模型与相应话题类别的类别特征词袋的相似度。
8.如权利要求1所述的文本分类方法,其特征在于,获取多个话题类别和每个话题类别对应的多个词和多个文档,包括:
获取多个话题类别和每个话题类别对应的多个文档;
对每个话题类别对应的各文档进行分词,去除设定的缺乏类别特征的词和设定的无意义的词,得到该话题类别对应的多个词。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110757754.1/1.html,转载请声明来源钻瓜专利网。





