[发明专利]一种文本出处的确定方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术，揭露了一种文本出处的确定方法，包括：利用由待查询文本构造的检索语句在预设的索引库中，检索待查询文本的多个候选出处文档；确定每个候选出处文档包含待查询文本的置信度；从多个候选出处文档中选择置信度最高且高于阈值的候选出处文档；计算待查询文本在选择的候选出处文档中的位置范围，并输出选择的候选出处文档的名称和包含所述位置范围的文档内容。通过利用检索语句从索引库中检索出多个文档，这样即使输入的待查询文本有误，也会从索引库检索出文档，然后通过计算每个文档的置信度，并选择置信度高的文档来计算待查询文本在文档中的位置，计算复杂度也比较低，能实现实时查询目标。

技术领域

本发明涉及人工智能技术领域，具体涉及一种文本出处的确定方法、装置、设备及存储介质。

背景技术

在一些检索任务(例如搜索和问答任务)中，经常需要处理一种检索请求，该检索请求用来查找一段文本的出处。例如，用户输入“塞下秋来风景异’出自哪里？”的检索请求时，希望找到“塞下秋来风景异”所在文档《渔家傲.秋思》，并标记出该段文本在全文中的位置。

目前实现文本出处查找的主要方案包括：1、基于字符串精确匹配，查找到包含目标文本片段的文档，但这种精确匹配无法处理用户记忆有误、拼写错误导致的文本片段与原文不一致的情况；2、基于机器阅读理解模型，查找到包含目标文本片段的文档，可以处理用户输入文本片段有误的情况，但是机器阅读理解模型的计算复杂度比较高，这样在实际应用场景中需要消耗大量的资源。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种文本出处的确定方法、装置、设备及存储介质，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种文本出处的确定方法，所述方法包括：

根据获取到的待查询文本构造检索语句；

利用所述检索语句在预设的索引库中，检索待查询文本的多个候选出处文档；

确定每个所述候选出处文档包含所述待查询文本的置信度；

从所述多个候选出处文档中，选择置信度最高且高于阈值的候选出处文档；

计算所述待查询文本在选择的候选出处文档中的位置范围，并输出选择的候选出处文档的名称和包含所述位置范围的文档内容。

在本申请的一些实施例中，所述根据获取到的待查询文本构造检索语句，包括：

对所述待查询文本进行分词处理，以得到第一分词结果；去除所述第一分词结果中的停用词，并利用去除停用词后的第一分词结果构造检索语句。

在本申请的一些实施例中，所述方法还包括索引库的建立过程：

针对每个原始文档，将所述原始文档的内容按照段落进行切分，并对切分获得的每一段落进行分词处理得到第二分词结果，去除所述第二分词结果中的停用词；将去除停用词后的第二分词结果按照预设数据结构存储到所述索引库。

在本申请的一些实施例中，所述利用所述检索语句在预设的索引库中，检索待查询文本的多个候选出处文档，包括：

根据所述检索语句获取所述待查询文本与所述索引库中每一文档之间的相关度；获取预设数量个相关度最高的文档作为候选出处文档。

在本申请的一些实施例中，所述确定每个所述候选出处文档包含所述待查询文本的置信度，包括：

获取所述待查询文本的字符长度；针对每个候选出处文档，使用所述字符长度大小的窗口从所述候选出处文档的开始位置开始以预设字符步长进行扫描，所述窗口每扫描至一个位置，计算一次所述待查询文本与所述窗口内文本之间的编辑距离，当扫描完所述候选出处文档的结束位置后，从计算得到的多个编辑距离中选择最小的编辑距离计算置信度。