[发明专利]一种文本处理方法及装置有效

专利信息
申请号: 202110484317.7 申请日: 2021-04-30
公开(公告)号: CN113220832B 公开(公告)日: 2023-09-05
发明(设计)人: 白金国;李长亮;李小龙 申请(专利权)人: 北京金山数字娱乐科技有限公司
主分类号: G06F16/33 分类号: G06F16/33;G06F16/332;G06F16/36
代理公司: 北京智信禾专利代理有限公司 11637 代理人: 吴肖肖
地址: 100085 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 文本 处理 方法 装置
【说明书】:

本申请提供一种文本处理方法及装置,其中所述文本处理方法包括:基于获取的待答复问题,确定待答复问题的语义向量、多个候选文本和多个候选文本的语义向量,其中,每个候选文本是文本库中与待答复问题语义相关的文本;基于待答复问题和多个候选文本的关联关系构建邻接矩阵,其中,邻接矩阵用于表征待答复问题与多个候选文本的相关性,以及多个候选文本之间的相关性;将待答复问题的语义向量、多个候选文本的语义向量和邻接矩阵输入文本筛选网络中,确定目标文本。上述方法确定多个候选文本之后,可以进一步通过文本筛选网络对候选文本进行筛选,减少了无关文本的召回,并且基于目标文本确定的答案的准确性更高,即提高了问答系统的性能。

技术领域

本申请涉及人工智能领域,特别涉及一种文本处理方法及装置、计算设备和计算机可读存储介质。

背景技术

在问答系统中,获取问题之后会先进行信息检索,以得到与问题比较相关的文本,再从得到的文本中确定问题的答案,若信息检索得到的文本是无关文本,则会影响确定的答案的准确性,进而影响问答系统的性能,因此,信息检索是至关重要的。

现有技术中,为了提升信息检索的召回率,使得检索得到的文本与问题的相关性更高,通常采用语义检索的方式确定与问题语义相关的文本。具体的,可以通过检索模型确定待答复问题的语义向量和文本库中多个文本的语义向量,确定文本的语义向量与待答复问题的语义向量的相似度,若相似度较高则说明待答复问题与文本的语义比较接近,因此可以将与待答复问题的语义向量相似度较高的文本确定为与待答复问题语义相关的文本。

但上述方式中,对待答复问题进行向量化表示得到语义向量仅根据检索模型来确定,而检索模型的性能依赖于训练情况,所以确定的待答复问题的语义向量在不能准确地表示待答复问题的情况下,这样的语义向量确定的文本可能与待答复问题不相关,即通过语义检索可能会召回无关文本,进而基于无关文本确定的待答复问题的答案可能不准确,即会影响问答系统的性能。

发明内容

有鉴于此,本申请实施例提供了一种文本处理方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面,提供了一种文本处理方法,包括:

基于获取的待答复问题,确定所述待答复问题的语义向量、多个候选文本和所述多个候选文本的语义向量,其中,每个候选文本是文本库中与所述待答复问题语义相关的文本;

基于所述待答复问题和所述多个候选文本的关联关系构建邻接矩阵,其中,所述邻接矩阵用于表征所述待答复问题与所述多个候选文本的相关性,以及所述多个候选文本之间的相关性;

将所述待答复问题的语义向量、所述多个候选文本的语义向量和所述邻接矩阵输入文本筛选网络中,确定目标文本。

根据本申请实施例的第二方面,提供了一种文本处理装置,包括:

第一确定模块,被配置为基于获取的待答复问题,确定所述待答复问题的语义向量、多个候选文本和所述多个候选文本的语义向量,其中,每个候选文本是文本库中与所述待答复问题语义相关的文本;

构建模块,被配置为基于所述待答复问题和所述多个候选文本的关联关系构建邻接矩阵,其中,所述邻接矩阵用于表征所述待答复问题与所述多个候选文本的相关性,以及所述多个候选文本之间的相关性;

第二确定模块,被配置为将所述待答复问题的语义向量、所述多个候选文本的语义向量和所述邻接矩阵输入文本筛选网络中,确定目标文本。

根据本申请实施例的第三方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述文本处理方法的步骤。

根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述文本处理方法的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110484317.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top