[发明专利]一种多标签文本分类方法、装置、电子设备及存储介质在审
申请号: | 202211257616.8 | 申请日: | 2022-10-14 |
公开(公告)号: | CN115481255A | 公开(公告)日: | 2022-12-16 |
发明(设计)人: | 喻燕君;郭林海;万化;张琛;杨桂秀;杨洋 | 申请(专利权)人: | 上海浦东发展银行股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62;G06F40/211;G06F40/30;G06F40/289;G06F40/237 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 黄立伟 |
地址: | 200000 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 标签 文本 分类 方法 装置 电子设备 存储 介质 | ||
1.一种多标签文本分类方法,其特征在于,包括:
响应于多标签文本分类指令,获取待分类文本及已训练完成的多标签文本分类模型,其中,所述多标签文本分类模型基于预训练语言模型进行微调得到;
在所述待分类文本的长度超过预设长度阈值的情况下,对所述待分类文本进行句子划分,并基于用于表示句子数量的滑窗大小,对句子划分后的所述待分类文本进行滑窗以切分所述待分类文本,得到至少两个待分类子文本;
针对所述至少两个待分类子文本中的每个待分类子文本,将所述待分类子文本输入到所述多标签文本分类模型,得到所述待分类子文本的至少一个类别;
将得到的各个所述待分类子文本的至少一个类别的并集,作为所述待分类文本的类别。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取已训练完成的标题首段分类器,以及从所述待分类文本中提取出主体信息,其中,所述主体信息包括文本标题和/或文本首段;
将所述主体信息输入到所述分类器,得到所述主体信息的至少一个类别;
所述将得到的各个所述待分类子文本的至少一个类别的并集,作为所述待分类文本的类别,包括:
将得到的各个所述待分类子文本的至少一个类别以及所述主体信息的至少一个类别的并集,作为所述待分类文本的类别。
3.根据权利要求1所述的方法,其特征在于,在所述获取待分类文本之后,还包括:
获取预先构建得到的词典,其中,所述词典包括类别-关键词词典、关键词-关键词权重词典以及类别-类别阈值词典;
基于所述类别-关键词词典,从所述待分类文本中提取出至少一个第一关键词,并分别得到所述至少一个第一关键词中的每个第一关键词所属的类别;
针对所述至少一个第一关键词中的每个第一关键词,基于所述关键词-关键词权重词典,确定所述第一关键词的关键词权重;
针对得到的各个所述第一关键词所属的类别中的每个类别,根据所述至少一个第一关键词中属于所述类别的各个第一关键词的关键词权重以及所述类别-类别阈值词典,确定所述待分类文本是否可被划分到所述类别下;
所述将得到的各个所述待分类子文本的至少一个类别的并集,作为所述待分类文本的类别,包括:
根据得到的各个所述待分类子文本的至少一个类别的并集,以及,确定出的划分结果,确定所述待分类文本的类别。
4.根据权利要求3所述的方法,其特征在于,所述类别-类别阈值词典通过如下步骤预先构建得到:
获取预先构建得到的所述类别-关键词词典和所述关键词-关键词权重词典;
针对所述类别-关键词词典中的每个类别以及全部关键词,根据所述类别-关键词词典确定所述全部关键词中属于所述类别的至少一个第二关键词;
根据所述关键词-关键词权重词典得到所述至少一个第二关键词中的每个第二关键词的关键词权重,并根据预设划分比例及得到的各个所述第二关键词的关键词权重之和确定所述类别的类别阈值;
根据得到的各个所述类别的类别阈值,构建得到所述类别-类别阈值词典。
5.根据权利要求3所述的方法,其特征在于,所述关键词-关键词权重词典通过如下步骤预先构建得到:
获取至少一个样本文本以及预先构建得到的所述类别-关键词词典,并针对所述至少一个样本文本中的每个样本文本,获取预先为所述样本文本标注出的用于表示所述样本文本的类别的真实标签;
将所述类别-关键词词典中的每个关键词分别作为第三关键词,针对得到的每个第三关键词,根据所述类别-关键词词典确定所述第三关键词所属的类别;
根据获取到的各个所述样本文本的真实标签,从所述至少一个样本文本中确定与所述第三关键词所属的类别对应的至少一个类别文本;
根据所述第三关键词在所述至少一个类别文本中的第一出现概率,以及,在所述至少一个样本文本中除所述至少一个类别文本之外的样本文本中的第二出现概率,得到所述第三关键词的关键词权重;
根据得到的各个所述第三关键词的关键词权重,构建得到所述关键词-关键词权重词典。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海浦东发展银行股份有限公司,未经上海浦东发展银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211257616.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种呼吸式幕墙
- 下一篇:一种盐湖提锂使用的高效多通道电渗析装置