[发明专利]文本检测方法、装置、计算设备及计算机可读存储介质

权利要求书

1.一种文本检测方法，其特征在于，包括：

对待检测文本进行聚类预处理，得到所述待检测文本各分句中各分词对应的相似类列表；

基于所述相似类列表确定所述待检测文本中所有分句对应的相似句子列表，并对所述相似句子列表中各相似句子进行合并，得到相似片段；

基于所述相似片段确定所述待检测文本与所述相似片段所属文本的相似度；

所述基于所述相似类列表确定所述待检测文本中所有分句对应的相似句子列表，包括：基于所述相似类列表获取所述相似类列表对应分词在倒排中的字节位置；

根据所述字节位置确定所述分词对应的句子列表；

对所述分词与所述句子列表中各句子分别做TF_IDF差值计算，得到对应的TF_IDF值；

并根据大于预设阈值的TF_IDF值所对应的句子构建相似句子列表。

2.如权利要求1所述的方法，其特征在于，所述基于所述相似类列表确定所述待检测文本中所有分句对应的相似句子列表，并对所述相似句子列表中各相似句子进行合并，得到相似片段，包括：

基于所述相似类列表确定各分词对应的相似句子列表；

根据所述相似句子列表确定目标相似句子列表；其中，所述目标相似句子列表中的各目标相似句子与各分句一一对应；

根据所述目标相似句子列表中各目标相似句子间的关系进行合并，得到对应的相似片段。

3.如权利要求2所述的方法，其特征在于，所述根据所述相似句子列表确定目标相似句子列表，包括：

根据所述相似句子列表中各相似句子的ID确定各相似句子所对应的相似文档；

并分别计算各相似文档的向量相似比；

基于所述向量相似比确定各分句分别对应的目标相似句子。

4.如权利要求3所述的方法，其特征在于，所述根据所述目标相似句子列表中各目标相似句子间的关系进行合并，得到对应的相似片段，包括：

基于所述目标相似句子列表中各目标相似句子间的关系确定待补充目标相似句子；

将该确定的待补充目标相似句子添加到所述目标相似句子列表中；

并将所述目标相似句子列表中的目标相似句子与待补充目标相似句子进行合并，得到对应的相似片段。

5.如权利要求4所述的方法，其特征在于，所述基于所述目标相似句子列表中各目标相似句子间的关系确定待补充目标相似句子，包括：

确定所述目标相似句子列表中各目标相似句子间的对应关系；

获取具有对应关系的各目标相似句子的位置信息；

基于任意两个具有对应关系的目标相似句子的位置信息确定对应的第一相似文本范围；

并在所述第一相似文本范围中筛选出待补充目标相似句子。

6.如权利要求5所述的方法，其特征在于，还包括：

获取特定目标相似句子的位置信息，其中，所述特定目标相似句子为与其他目标相似句子不具有对应关系的句子；

基于所述位置信息确定所述特定目标相似句子与其在位置上相邻的目标相似句子间的第二相似文本范围；

并在所述第二相似文本范围中筛选出待补充目标相似句子。

7.如权利要求5-6中任一项所述的方法，其特征在于，所述对待检测文本进行聚类预处理，得到所述待检测文本各分句中各分词对应的相似类列表，包括：

对所述待检测文本进行文本切分，得到包含各分词及各分词对应的词频的词组列表；

基于所述词组列表中的词频计算各分词的TF_IDF值；

基于所述TF_IDF值确定所述分词的相似类列表。

8.如权利要求7所述的方法，其特征在于，所述对所述待检测文本进行文本切分，得到词组列表，包括：

对所述待检测文本进行文本切分，得到组成所述待检测文本的各分段；

并对各分段进行分句处理，得到各分句；

对各分句进行拆分，得到所述词组列表。