[发明专利]文本分类方法、装置、计算机设备及存储介质在审
| 申请号: | 201910963674.4 | 申请日: | 2019-10-11 |
| 公开(公告)号: | CN111090719A | 公开(公告)日: | 2020-05-01 |
| 发明(设计)人: | 李钢 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
| 主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/33;G06F16/35;G06N3/02 |
| 代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
| 地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 分类 方法 装置 计算机 设备 存储 介质 | ||
1.一种文本分类方法,其特征在于,方法包括:
获取Bayes分类模型根据第一文本输出的第一分类信息,获取神经网络分类模型根据所述第一文本输出的第二分类信息;
若所述第一分类信息与所述第二分类信息不相同,则根据所述第一文本的数据量,确定所述Bayes分类模型对应的第一权重,以及所述神经网络分类模型对应的第二权重;
计算所述Bayes分类模型对所述第一文本的第一分类评价值,以及所述神经网络分类模型对所述第一文本的第二分类评价值;
判断所述第一分类评价值是否大于所述第二分类评价值;
若是,则将所述第一分类评价值对应的所述第一类目,作为所述第一文本对应的分类类目。
2.根据权利要求1所述的文本分类方法,其特征在于,所述获取Bayes分类模型根据第一文本输出的第一分类信息的步骤,包括:
根据公式:获得所述第一文本对应的第一分类信息,其中,P(doc|ci)=x1P(word1|ci)x2P(word2|ci)...xmP(wordm|ci),xi=len(wordi)sim(wordi,wordaj),len(wordi)表示wordi的字符长度,sim(wordi,wordaj)表示wordi,wordaj之间的向量相似度,wordaj表示第a类目下的第j个词。
3.根据权利要求2所述的文本分类方法,其特征在于,所述根据公式:获得所述第一文本对应的第一分类信息的步骤,包括:
根据预构建的短语字典树以及预设分词器,对所述第一文本进行分词处理;
根据第一分词对应的第一字符长度值以及第一词向量,得到所述第一分词相对于指定类目的归类概率,其中,所述指定类目包含于所有的预设类目中;
根据所述第一分词相对于所述指定类目的归类概率的计算过程,得到所述第一文本相对于所述指定类目的归类概率P(ca)P(doc|ca);
根据各所述预设类目的先验概率以及条件概率的乘积将所述第一文本分别相对于各所述预设类目的概率进行归一化;
选择归一化值最大的第一类目,作为所述第一文本对应的类目,并将所述第一文本对应所述第一类目的归一化值以及所述第一类目作为所述第一分类信息。
4.根据权利要求3所述的文本分类方法,其特征在于,所述根据预构建的短语字典树以及预设分词器,对所述第一文本进行分词处理的步骤之前,包括:
通过依次计算指定文本中相邻词的互信息值,其中,x,y为指定文本中相邻两个词,P(X,Y)表示组和出现的概率,P(X)和P(Y)分别表示两个词单独出现的概率,所述指定文本包含于语料库中所有语料文本中;
通过N-Gram计算所述指定文本中所述相邻词组成短语的短语概率;
将所述互信息值与所述短语概率相加,得到所述相邻词构成所述短语的评价分值;
判断所述评价分值是否大于预设阈值;
若是,则判定所述相邻词构成所述短语;
根据所述指定文本中的短语确定过程,获取所述语料库中所有语料文本中的短语;
将所述语料库中所有语料文本中的短语构建成所述短语字典树。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910963674.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于数据仓库的用户特征产出方法和系统
- 下一篇:显示装置





