[发明专利]稿件内部查重方法、装置及电子设备

权利要求书

1.一种稿件内部查重方法，其特征在于，包括：

对待检测文本进行分句，以获得文本句子集合；

根据预设句子相似度比较规则确定所述文本句子集合中每个基准句子所对应的相似句子集合；

根据所述相似句子集合确定基准文句在所述待检测文本全文中的目标文句，所述基准文句与所述目标文句的相似度大于预设阈值，所述基准文句为所述基准句子或由多个基准句子所构成的基准段落；

所述根据预设句子相似度比较规则确定所述文本句子集合中每个基准句子所对应的相似句子集合，包括：

确定第一基准句子与排列在所述第一基准句子之后的各个句子的相似度，其中，所述第一基准句子为所述文本句子集合中的任意句子；

根据所述第一基准句子与各个句子的相似度确定所述第一基准句子对应的第一相似句子集合。

2.根据权利要求1所述的稿件内部查重方法，其特征在于，所述对待检测文本进行分句，包括：

获取所述待检测文本中的预设符号；

根据所述预设符号所处的位置对所述待检测文本进行分句，以获得所述文本句子集合，其中，所述文本句子集合包括多个有序排列的句子。

3.根据权利要求1所述的稿件内部查重方法，其特征在于，还包括：

分配多个线程，其中，一个线程仅用于运行为一个基准句子确定对应相似句子集合的任务。

4.根据权利要求3所述的稿件内部查重方法，其特征在于，在所述根据所述第一基准句子与各个句子的相似度确定所述第一基准句子对应的第一相似句子集合之后，还包括：

若根据所述第一基准句子与第二基准句子的相似度确定所述第一基准句子与所述第二基准句子的文本相同，则合并所述第一相似句子集合与第二相似句子集合，以生成合并相似句子集合，所述第二相似句子集合为所述第二基准句子对应的相似句子集合；

确定所述第一基准句子与所述第二基准句子所对应的相似句子集合均为所述合并相似句子集合。

5.根据权利要求3所述的稿件内部查重方法，其特征在于，若多个相似句子集合中存在文本相同的连续句子，则从每个集合中提取最长公共子句，其中，所述最长公共子句包括首尾相连的多个句子；

根据所述最长公共子句生成所述基准段落，以确定所述基准段落在所述待检测文本全文中的目标段落。

6.根据权利要求1-5中任意一项所述的稿件内部查重方法，其特征在于，在所述对待检测文本进行分句之前，还包括：

对待检测稿件进行预处理，以获得所述待检测文本，所述待检测文本仅包括文本信息。

7.根据权利要求6所述的稿件内部查重方法，其特征在于，所述对待检测稿件进行预处理，包括：

对所述待检测稿件中的非文本信息进行删除，其中，所述非文本信息图片、公式、域代码、文本框以及文档目录中一种或任意多种的组合。

8.一种稿件内部查重装置，其特征在于，包括：

文本分句模块，用于对待检测文本进行分句，以获得文本句子集合；

句子比较模块，用于根据预设句子相似度比较规则确定所述文本句子集合中每个基准句子所对应的相似句子集合；

句子定位模块，用于根据所述相似句子集合确定基准文句在所述待检测文本全文中的目标文句，所述基准文句与所述目标文句的相似度大于预设阈值，所述基准文句为所述基准句子或由多个基准句子所构成的基准段落；

所述句子比较模块，具体用于确定第一基准句子与排列在所述第一基准句子之后的各个句子的相似度，其中，所述第一基准句子为所述文本句子集合中的任意句子；根据所述第一基准句子与各个句子的相似度确定所述第一基准句子对应的第一相似句集合。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的计算机程序；

其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1-7中任意一项所述的稿件内部查重方法。