[发明专利]一种文本处理方法及装置有效
申请号: | 202110484317.7 | 申请日: | 2021-04-30 |
公开(公告)号: | CN113220832B | 公开(公告)日: | 2023-09-05 |
发明(设计)人: | 白金国;李长亮;李小龙 | 申请(专利权)人: | 北京金山数字娱乐科技有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/332;G06F16/36 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴肖肖 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 处理 方法 装置 | ||
本申请提供一种文本处理方法及装置,其中所述文本处理方法包括:基于获取的待答复问题,确定待答复问题的语义向量、多个候选文本和多个候选文本的语义向量,其中,每个候选文本是文本库中与待答复问题语义相关的文本;基于待答复问题和多个候选文本的关联关系构建邻接矩阵,其中,邻接矩阵用于表征待答复问题与多个候选文本的相关性,以及多个候选文本之间的相关性;将待答复问题的语义向量、多个候选文本的语义向量和邻接矩阵输入文本筛选网络中,确定目标文本。上述方法确定多个候选文本之后,可以进一步通过文本筛选网络对候选文本进行筛选,减少了无关文本的召回,并且基于目标文本确定的答案的准确性更高,即提高了问答系统的性能。
技术领域
本申请涉及人工智能领域,特别涉及一种文本处理方法及装置、计算设备和计算机可读存储介质。
背景技术
在问答系统中,获取问题之后会先进行信息检索,以得到与问题比较相关的文本,再从得到的文本中确定问题的答案,若信息检索得到的文本是无关文本,则会影响确定的答案的准确性,进而影响问答系统的性能,因此,信息检索是至关重要的。
现有技术中,为了提升信息检索的召回率,使得检索得到的文本与问题的相关性更高,通常采用语义检索的方式确定与问题语义相关的文本。具体的,可以通过检索模型确定待答复问题的语义向量和文本库中多个文本的语义向量,确定文本的语义向量与待答复问题的语义向量的相似度,若相似度较高则说明待答复问题与文本的语义比较接近,因此可以将与待答复问题的语义向量相似度较高的文本确定为与待答复问题语义相关的文本。
但上述方式中,对待答复问题进行向量化表示得到语义向量仅根据检索模型来确定,而检索模型的性能依赖于训练情况,所以确定的待答复问题的语义向量在不能准确地表示待答复问题的情况下,这样的语义向量确定的文本可能与待答复问题不相关,即通过语义检索可能会召回无关文本,进而基于无关文本确定的待答复问题的答案可能不准确,即会影响问答系统的性能。
发明内容
有鉴于此,本申请实施例提供了一种文本处理方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面,提供了一种文本处理方法,包括:
基于获取的待答复问题,确定所述待答复问题的语义向量、多个候选文本和所述多个候选文本的语义向量,其中,每个候选文本是文本库中与所述待答复问题语义相关的文本;
基于所述待答复问题和所述多个候选文本的关联关系构建邻接矩阵,其中,所述邻接矩阵用于表征所述待答复问题与所述多个候选文本的相关性,以及所述多个候选文本之间的相关性;
将所述待答复问题的语义向量、所述多个候选文本的语义向量和所述邻接矩阵输入文本筛选网络中,确定目标文本。
根据本申请实施例的第二方面,提供了一种文本处理装置,包括:
第一确定模块,被配置为基于获取的待答复问题,确定所述待答复问题的语义向量、多个候选文本和所述多个候选文本的语义向量,其中,每个候选文本是文本库中与所述待答复问题语义相关的文本;
构建模块,被配置为基于所述待答复问题和所述多个候选文本的关联关系构建邻接矩阵,其中,所述邻接矩阵用于表征所述待答复问题与所述多个候选文本的相关性,以及所述多个候选文本之间的相关性;
第二确定模块,被配置为将所述待答复问题的语义向量、所述多个候选文本的语义向量和所述邻接矩阵输入文本筛选网络中,确定目标文本。
根据本申请实施例的第三方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述文本处理方法的步骤。
根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述文本处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110484317.7/2.html,转载请声明来源钻瓜专利网。