[发明专利]文本相似度检测方法、装置及电子设备

说明书

本发明提供了一种文本相似度检测方法、装置及电子设备，涉及数据处理技术领域，本发明在获取到两个文本的初始指纹特征后，基于滑动窗口算法和数字指纹的大小对初始指纹特征进行了目标数字指纹的提取，且进行目标数字指纹的提取时，下一个滑动窗口的起始点与前一个滑动窗口内所提取出的目标数字指纹有关，这样在保证检测准确度的基础上，减少了目标指纹特征中数字指纹的数量，降低了数字指纹密度，从而降低了相似度计算时的计算量，提高了文本相似度检测的检测速度。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种文本相似度检测方法、装置及电子设备。

背景技术

随着互联网在生活中各个方面的广泛应用，电子文档已经成为消息传递的重要载体。由于电子文档固有的易篡改、易抄袭等特点，人们能够轻易地对其进行传播，导致出现了越来越多的文本抄袭现象，对信息检索、电子资源版权保护等造成了严重影响。基于此，文本相似度检测方法应运而生。

基于数字指纹技术的文本相似度检测方法核心思想是：首先根据某种文本块划分策略，从文本中选择一部分字符串(又叫“指纹”)，然后将其映射为数字形式，得到数字指纹，最后通过计算相同的数字指纹数量或者所占总的数字指纹比率来得出文本间的重叠度。由于近似的文本将被映射为近似的数字指纹，数字指纹技术可以使原文本转换为数字指纹特征(数字指纹序列)，通过计算两个文本的数字指纹重叠度，从而实现文本相似度检测的目的。其优势是数字指纹的存储空间小、检测速度较快，能够适用于大规模文本集相似度检测。因此，基于数字指纹的文本相似度检测不仅在网页去重和信息检索等领域中发挥着不可或缺的作用，也能够应用于图书馆资源保护、软件著作权保护、数据泄漏防护和垃圾邮件过滤等多个领域。

然而现有的基于数字指纹技术的文本相似度检测方法，提取得到的数字指纹数量较多、数字指纹密度较大，这样会造成计算量大的问题，导致检测速度较低。

发明内容

本发明的目的在于提供一种文本相似度检测方法、装置及电子设备，以降低计算量，提高检测速度。

本发明实施例提供了一种文本相似度检测方法，包括：

获取待检测的两个文本；

获取每个所述文本对应的初始指纹特征，所述初始指纹特征包括多个数字指纹；

对于每个所述文本，基于滑动窗口算法，从该文本对应的各数字指纹中提取目标数字指纹，得到该文本对应的目标指纹特征；其中，所述目标数字指纹的提取与该文本对应的各数字指纹的大小有关，下一个滑动窗口的起始点与前一个滑动窗口内所提取出的目标数字指纹有关；

对两个所述文本对应的目标指纹特征进行相似度计算，得到两个所述文本的相似度检测结果。

进一步地，所述获取每个所述文本对应的初始指纹特征，包括：

对每个所述文本进行预处理，得到每个所述文本的词语序列；

对每个所述文本的词语序列中的词语进行编码，得到每个所述文本的文本特征；

对每个所述文本的文本特征进行数字指纹映射，得到每个所述文本对应的初始指纹特征。

进一步地，所述基于滑动窗口算法，从该文本对应的各数字指纹中提取目标数字指纹，得到该文本对应的目标指纹特征，包括：

根据预设的滑动窗口尺寸，从该文本对应的各数字指纹中获取第一个滑动窗口内的指纹序列；其中，所述第一个滑动窗口的起始点为该文本对应的初始指纹特征中的第一个数字指纹；

根据所述第一个滑动窗口内的指纹序列中各数字指纹的大小，从所述第一个滑动窗口内的指纹序列中提取出所述第一个滑动窗口内的至少一个目标数字指纹；