[发明专利]一种文本处理方法、装置、设备及存储介质在审
申请号: | 202110978569.5 | 申请日: | 2021-08-24 |
公开(公告)号: | CN114328807A | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 黄剑辉 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/205;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 处理 方法 装置 设备 存储 介质 | ||
1.一种文本处理方法,其特征在于,包括:
获取待预测文本的第一语义向量,并采用优化后的层次分类模型,基于所述第一语义向量预测所述待预测文本的一级类目,得到一个或多个一级预测类目;
将所述第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理,以得到一个或多个第一匹配特征,所述预设词向量集包括:一个或多个二级类目,以及所述一个或多个二级类目中每个二级类目的词向量;
采用所述优化后的层次分类模型,基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目,从所述一个或多个二级类目中确定所述待预测文本的目标二级类目;
根据预先建立的二级类目和一级类目的对应关系,获取所述目标二级类目对应的目标一级类目;
生成所述待预测文本的类目信息,所述类目信息包含所述目标一级类目和所述目标二级类目。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一语义向量与所述预设词向量集中的每个二级类目的词向量进行匹配处理,以得到一个或多个第一匹配特征,包括:
遍历所述预设词向量集中的一个或多个二级类目,将当前遍历的二级类目的词向量和所述第一语义向量进行向量匹配处理,得到向量相似特征,所述向量相似特征用于指示:所述待预测文本与所述当前遍历的二级类目之间的相似度;
将所述当前遍历的二级类目的词向量与所述第一语义向量进行交互式匹配处理,得到交互特征,所述交互特征用于指示:所述待预测文本与所述当前遍历的二级类目之间的相关性;
将所述当前遍历的二级类目的词向量与所述第一语义向量进行语义匹配处理,得到语义差异特征,所述语义差异特征用于指示:所述待预测文本的语义与所述当前遍历的二级类目的语义之间的差异度;
对所述向量相似特征、所述交互特征以及所述语义差异特征进行特征融合处理,得到所述当前遍历的二级类目对应的第一匹配特征,以在遍历结束之后得到所述一个或多个第一匹配特征。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取训练样本,所述训练样本包括:训练文本,以及所述训练文本的标准一级类目和标准二级类目;
对所述训练文本进行解码处理,得到所述训练文本的第二语义向量;
采用层次分类模型,基于所述第二语义向量确定所述标准一级类目的第二预测概率,所述第二预测概率用于指示:所述层次分类模型输出所述标准一级类目的概率;
将所述第二语义向量与所述一个或多个二级类目中每个二级类目的词向量进行匹配处理,以得到一个或多个第二匹配特征;
采用所述层次分类模型,基于所述一个或多个第二匹配特征确定所述标准二级类目的第三预测概率,所述第三预测概率用于指示:所述层次分类模型输出所述标准二级类目的概率;
基于所述第二预测概率以及所述第三预测概率,确定目标损失值,并按照减小所述目标损失值的方向,优化所述层次分类模型的模型参数,以得到所述优化后的层次分类模型。
4.根据权利要求3所述的方法,其特征在于,所述训练样本包括:N个训练文本,以及所述N个训练文本中每个训练文本的标准一级类目和标准二级类目,N为正整数,且N>1;
确定的第二预测概率包括N个第二预测概率,所述N个第二预测概率包括所述N个训练文本中,每个训练文本的标准一级类目的第二预测概率,所述每个训练文本的标准一级类目的第二预测概率是基于所述每个训练文本的第二语义向量确定的;
确定的第三预测概率包括N个第三预测概率,所述N个第三预测概率包括所述N个训练文本中,每个训练文本的标准二级类目的第三预测概率,所述每个训练文本的标准二级类目的第三预测概率是基于所述每个训练文本对应的一个或多个第二匹配特征确定的;
所述基于所述第二预测概率以及所述第三预测概率,确定目标损失值,包括:
基于所述N个第二预测概率和N个第三预测概率,得到第一损失值;
基于所述N个训练文本中任一训练文本的标准一级类目的第二预测概率,确定第二损失值,并基于所述任一训练文本的标准二级类目的第三预测概率确定第三损失值;
基于所述第一损失值、所述第二损失值以及所述第三损失值,确定所述目标损失值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110978569.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种充电桩、充电系统和充电方法
- 下一篇:半导体结构及其制备方法