[发明专利]重复度检测方法、装置和电子设备

权利要求书

1.一种重复度检测方法，包括：

获取待检测文本中的多个片段，以及所述多个片段中各片段对应的数字指纹；

将所述各片段对应的数字指纹，分别与预先建立的数字指纹库的各数字指纹进行匹配，所述数字指纹库中包括多个文本中每个文本所包含的多个片段各自对应的数字指纹；

根据匹配结果，检测所述待检测文本的重复度。

2.根据权利要求1所述的方法，其中，获取所述多个片段中各片段对应的数字指纹，包括：

确定所述各片段对应的目标语句，所述目标语句为所述片段中句子长度最长的语句；

根据所述各片段对应的目标语句，生成所述各片段对应的数字指纹。

3.根据权利要求2所述的方法，其中，所述根据所述各片段对应的目标语句，生成所述各片段对应的数字指纹，包括：

针对所述各片段对应的目标语句，对所述目标语句分别进行分词处理，得到所述目标语句对应的多个特征词；

根据所述多个特征词中各特征词对应的哈希值，生成所述各特征词对应的数字序列；

根据所述各特征词对应的数字序列生成所述片段对应的数字指纹。

4.根据权利要求3所述的方法，其中，所述哈希值为二进制数，所述根据所述多个特征词中各特征词对应的哈希值，生成所述各特征词对应的数字序列，包括：

针对各特征词对应的二进制数，若所述二进制数中的位的取值为1，则将所述位的取值设置为第一数值；若所述二进制数中的位的取值为0，则将所述位的取值设置为第二数值，得到所述各特征词对应的数字序列；

其中，所述第二数值和所述第一数值互为相反数。

5.根据权利要求3所述的方法，其中，所述根据所述各特征词对应的数字序列生成所述片段对应的数字指纹，包括：

对所述各特征词对应的数字序列进行累加处理，得到所述目标语句对应的目标数字序列；

根据所述目标数字序列中各位的取值，对所述目标数字序列进行降维处理，得到所述片段对应的数字指纹。

6.根据权利要求5所述的方法，其中，所述根据所述目标数字序列中各位的取值，对所述目标数字序列进行降维处理，得到所述片段对应的数字指纹，包括：

针对各位，若所述位的取值大于0，则将所述位的取值降维处理为1；

若所述位的取值小于或等于0，则将所述位的取值降维处理为0，得到所述片段对应的数字指纹。

7.根据权利要求1-6任一项所述的方法，其中，所述根据匹配结果，检测所述待检测文本的重复度，包括：

确定待检测文本的多个片段中，与所述数字指纹库中同一个目标文本的多个片段匹配成功的片段数；

根据所述片段数，确定所述待检测文本与所述目标文本的重复度。

8.根据权利要求2-6任一项所述的方法，其中，所述确定所述各片段对应的目标语句，包括：

对所述各片段进行分段处理，得到多段内容；

对所述多段内容中的各段内容进行分句处理，得到所述各段内容对应的多个句子；

根据所述各段内容对应的多个句子的句子长度，在所述片段中确定所述目标语句。

9.一种重复度检测装置，包括：

获取单元，用于获取待检测文本中的多个片段，以及所述多个片段中各片段对应的数字指纹；

处理单元，用于将所述各片段对应的数字指纹，分别与预先建立的数字指纹库的各数字指纹进行匹配，所述数字指纹库中包括多个文本中每个文本所包含的多个片段各自对应的数字指纹；

检测单元，用于根据匹配结果，检测所述待检测文本的重复度。

10.根据权利要求9所述的装置，其中，所述获取单元包括第一获取模块和第二获取模块；

所述第一获取模块，用于确定所述各片段对应的目标语句，所述目标语句为所述片段中句子长度最长的语句；

所述第二获取模块，用于根据所述各片段对应的目标语句，生成所述各片段对应的数字指纹。