[发明专利]一种文本分类方法、装置、介质及设备有效
申请号: | 201710370523.9 | 申请日: | 2017-05-23 |
公开(公告)号: | CN108959237B | 公开(公告)日: | 2022-11-22 |
发明(设计)人: | 李探;温旭;张智敏;常卓;王树伟;花少勇;张伟;闫清岭 | 申请(专利权)人: | 腾讯科技(北京)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/216;G06F40/289;G06F40/30 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘 |
地址: | 100080 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 装置 介质 设备 | ||
1.一种文本分类方法,其特征在于,包括:
针对待分类文本中的每个关键特征词,根据样本库中词类别对应的样本特征词,确定该关键特征词对应的词类别;以及
根据样本库中的文本类别与样本文本的对应关系,确定具有该关键特征词的样本文本对应的文本类别,并将确定的文本类别作为该关键特征词对应的文本类别,其中,每个文本类别对应的样本文本包括多个样本特征词;
确定该关键特征词在对应的每个文本类别下的权重,其中,该关键特征词在对应的任一文本类别下的权重为:与该关键特征词属于同一词类别的样本特征词在该任一文本类别下的权重的和值;
根据各个关键特征词在对应的每个文本类别下的权重,确定所述待分类文本所属的文本类别。
2.根据权利要求1所述的方法,其特征在于,进一步包括:
预先保存词类别权重,其中,每个词类别权重用于表征属于同一词类别的样本特征词在同一文本类别下的权重的和值;
则确定该关键特征词在对应的任一文本类别下的权重,包括:
从保存的词类别权重中,获取该关键特征词所属的词类别对应的词类别权重;
将获取的词类别权重作为该关键特征词在该任一文本类别下的权重。
3.根据权利要求1所述的方法,其特征在于,根据各个关键特征词在对应的每个文本类别下的权重,确定所述待分类文本所属的文本类别,具体包括:
针对各个关键特征词对应的每个文本类别,根据对应该文本类别的各个关键特征词在该文本类别下的权重的和值以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的和值,确定待分类文本在该文本类别对应的样本文本中的出现概率;
根据待分类文本在该文本类别对应的样本文本中的出现概率,确定所述待分类文本所属的文本类别。
4.根据权利要求1所述的方法,其特征在于,根据各个关键特征词在对应的每个文本类别下的权重,确定所述待分类文本所属的类别,具体包括:
针对各个关键特征词对应的每个文本类别,根据对应该文本类别的各个关键特征词在该文本类别下的权重的乘积以及所述待分类文本中的非关键特征词在该文本类别下的条件概率的乘积,确定所述待分类文本在该文本类别对应的样本文本中的出现概率;
根据所述待分类文本在该文本类别对应的样本文本中的出现概率、该文本类别的先验概率以及所述待分类文本的先验概率,确定所述待分类文本属于该文本类别的概率;
根据所述待分类文本属于各个文本类别的概率,确定所述待分类文本所属的文本类别。
5.根据权利要求4所述的方法,其特征在于,采用如下公式,确定所述待分类文本属于任一文本类别的概率:
其中,x表示所述待分类文本,yi表示所述任一文本类别,P(yi|x)表示所述待分类文本属于文本类别yi的概率,P(yi)表示文本类别yi的先验概率,aj表示所述待分类文本中第j个关键特征词,m表示待分类文本中关键特征词的个数,P(aj)表示第j个关键特征词在文本类别yi下的权重,P(x)表示所述待分类文本的先验概率,at表示所述待分类文本中第t个非关键特征词,n表示待分类文本中的非关键特征词的个数,P(at|yi)表示第j个关键特征词在文本类别yi下的条件概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(北京)有限公司,未经腾讯科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710370523.9/1.html,转载请声明来源钻瓜专利网。