[发明专利]文本检测方法、装置、计算设备及计算机可读存储介质

说明书

本申请公开了一种文本检测方法、装置、计算设备及计算机可读存储介质，该文本检测方法包括：对待检测文本进行聚类预处理，得到所述待检测文本各分句中各分词对应的相似类列表；基于所述相似类列表确定所述待检测文本中所有分句对应的相似句子列表，并对所述相似句子列表中各相似句子进行合并，得到相似片段；基于所述相似片段确定所述待检测文本与所述相似片段所属文本的相似度。本申请中，实现了对文本的有效检测，提升了检测效率；并且通过采用TF_IDF值进行差值计算方式，不仅提高了计算的精确度，亦极大地提高了检测速度。

技术领域

本申请涉及计算机技术领域，特别是涉及一种文本检测方法、装置、计算设备及计算机可读存储介质。

背景技术

在现有技术中，随着学术界造假事件频繁发生，知识产权保护的呼声日益高涨，文本查重技术的研究逐渐成为相关专家和学者的研究热点。目前，国内外有一些学者提出了文本查重方法。然而，对于这些文本查重方法而言，虽然能够实现文本的查重处理，但是操作复杂，耗时耗力，且效率低下，准确率也相对较低。

发明内容

本申请提供文本检测方法、装置、计算设备及计算机可读存储介质，以实现对文本的相似度检测，提升检测效率。

本申请提供了一种文本检测方法，包括：

对待检测文本进行聚类预处理，得到所述待检测文本各分句中各分词对应的相似类列表；

基于所述相似类列表确定所述待检测文本中所有分句对应的相似句子列表，并对所述相似句子列表中各相似句子进行合并，得到相似片段；

基于所述相似片段确定所述待检测文本与所述相似片段所属文本的相似度。

优选地，所述基于所述相似类列表确定所述待检测文本中所有分句对应的相似句子列表，并对所述相似句子列表中各相似句子进行合并，得到相似片段，包括：

基于所述相似类列表确定各分词对应的相似句子列表；

根据所述相似句子列表确定目标相似句子列表；其中，所述目标相似句子列表中的各目标相似句子与各分句一一对应；

根据所述目标相似句子列表中各目标相似句子间的关系进行合并，得到对应的相似片段。

优选地，所述基于所述相似类列表确定各分词对应的相似句子列表，包括：

基于所述相似类列表获取所述相似类列表对应分词在倒排中的字节位置；

根据所述字节位置确定所述分词对应的句子列表；

对所述分词与所述句子列表中各句子分别做TF_IDF差值计算，得到对应的TF_IDF值；

并根据大于预设阈值的TF_IDF值所对应的句子构建相似句子列表。

优选地，所述根据所述相似句子列表确定目标相似句子列表，包括：

根据所述相似句子列表中各相似句子的ID确定各相似句子所对应的相似文档；

并分别计算各相似文档的向量相似比；

基于所述相似文档的向量相似比确定各分句分别对应的目标相似句子。

优选地，所述根据所述目标相似句子列表中各目标相似句子间的关系进行合并，得到对应的相似片段，包括：

基于所述目标相似句子列表中各目标相似句子间的关系确定待补充目标相似句子；

将该确定的待补充目标相似句子添加到所述目标相似句子列表中；

并将所述目标相似句子列表中的目标相似句子与待补充目标相似句子进行合并，得到对应的相似片段。