[发明专利]一种文本出处的确定方法、装置、设备及存储介质

权利要求书

1.一种文本出处的确定方法，其特征在于，所述方法包括：

根据获取到的待查询文本构造检索语句；

利用所述检索语句在预设的索引库中，检索待查询文本的多个候选出处文档；

确定每个所述候选出处文档包含所述待查询文本的置信度；

从所述多个候选出处文档中，选择置信度最高且高于阈值的候选出处文档；

计算所述待查询文本在选择的候选出处文档中的位置范围，并输出选择的候选出处文档的名称和包含所述位置范围的文档内容。

2.根据权利要求1所述的方法，其特征在于，所述根据获取到的待查询文本构造检索语句，包括：

对所述待查询文本进行分词处理，以得到第一分词结果；

去除所述第一分词结果中的停用词，并利用去除停用词后的第一分词结果构造检索语句。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括索引库的建立过程：

针对每个原始文档，将所述原始文档的内容按照段落进行切分，并对切分获得的每一段落进行分词处理得到第二分词结果，去除所述第二分词结果中的停用词；

将去除停用词后的第二分词结果按照预设数据结构存储到所述索引库。

4.根据权利要求1所述的方法，其特征在于，所述利用所述检索语句在预设的索引库中，检索待查询文本的多个候选出处文档，包括：

根据所述检索语句获取所述待查询文本与所述索引库中每一文档之间的相关度；

获取预设数量个相关度最高的文档作为候选出处文档。

5.根据权利要求1所述的方法，其特征在于，所述确定每个所述候选出处文档包含所述待查询文本的置信度，包括：

获取所述待查询文本的字符长度；

针对每个候选出处文档，使用所述字符长度大小的窗口从所述候选出处文档的开始位置开始以预设字符步长进行扫描，所述窗口每扫描至一个位置，计算一次所述待查询文本与所述窗口内文本之间的编辑距离，当扫描完所述候选出处文档的结束位置后，从计算得到的多个编辑距离中选择最小的编辑距离计算置信度。

6.根据权利要求5所述的方法，其特征在于，所述从计算得到的多个编辑距离中选择最小的编辑距离计算置信度，包括：

从所述编辑距离中选择最小的编辑距离，并在所述候选出处文档中标记所选择的编辑距离对应的位置；

利用选择的编辑距离和所述字符长度计算置信度。

7.根据权利要求6所述的方法，其特征在于，所述计算所述待查询文本在选择的候选出处文档中的位置范围，包括：

以选择的候选出处文档中标记位置处的首字符为起点，向左查找最近的句子结束符号，并在向左查找到的句子结束符号位置处设置第一标记；

以选择的候选出处文档中标记位置处的尾字符为起点，向右查找最近的句子结束符号，并在向右查找到的句子结束符号位置处设置第二标记；

根据所述第一标记和第二标记确定所述待查询文本在选择的候选出处文档中的位置范围。

8.一种文本出处的确定装置，其特征在于，所述装置包括：

检索候选文档模块，用于根据获取到的待查询文本构造检索语句，并利用所述检索语句在预设的索引库中，检索待查询文本的多个候选出处文档；

置信度确定模块，用于确定每个所述候选出处文档包含所述待查询文本的置信度；

选择模块，用于从所述多个候选出处文档中，选择置信度最高且高于阈值的候选出处文档；

文本位置确定模块，用于计算所述待查询文本在选择的候选出处文档中的位置范围，并输出选择的候选出处文档的名称和包含所述位置范围的文档内容。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。