[发明专利]一种基于语义分析的文档查重方法和装置

说明书

本发明提供了一种基于语义分析的文档查重方法和装置，包括：确定待查重文档和对比文档；根据预设的格式标准，对所述待查重文档、所述对比文档进行格式转换；对经过格式转换的所述待查重文档、所述对比文档进行分词；根据所述待查重文档的分词结果和所述对比文档的分词结果，进行同义词归并，确定第一相似度；根据所述待查重文档的分词结果和所述对比文档的分词结果，进行聚类分析，确定第二相似度；根据所述第一相似度和所述第二相似度，确定所述待查重文档与所述对比文档的重复率。本发明提供的方案能够提高查重的精确度。

技术领域

本发明涉及文档查重技术领域，特别涉及一种基于语义分析的文档查重方法和装置。

背景技术

现有技术中，一般根据标点符号分别将待查重文档和对比文档划分成不同的句子，然后通过句子间的对比确定待查重文档与对比文档的重复率。

但是，该方法仅能识别完全复制的句子，对于一些“换词不换意”的句子无法识别。因此，该方法的查重精确度较低。

发明内容

本发明实施例提供了一种基于语义分析的文档查重方法和装置，能够提高查重精确度。

第一方面，本发明实施例提供了一种基于语义分析的文档查重方法，包括：

确定待查重文档和对比文档；

根据预设的格式标准，对所述待查重文档、所述对比文档进行格式转换；

对经过格式转换的所述待查重文档、所述对比文档进行分词；

根据所述待查重文档的分词结果和所述对比文档的分词结果，进行同义词归并，确定第一相似度；

根据所述待查重文档的分词结果和所述对比文档的分词结果，进行聚类分析，确定第二相似度；

根据所述第一相似度和所述第二相似度，确定所述待查重文档与所述对比文档的重复率。

优选地，

所述根据所述待查重文档的分词结果和所述对比文档的分词结果，进行同义词归并，确定第一相似度，包括：

根据所述待查重文档的分词结果和所述对比文档的分词结果，确定同时存在于所述待查重文档、所述对比文档中的第一词的数量；

确定所述待查重文档中第二词的数量，其中，所述第二词在所述对比文档中存在同义词；

根据所述第一词的数量和所述第二词的数量，利用下述第一公式，计算所述第一相似度；

所述第一公式，包括：

其中，p用于表征所述第一相似度，x用于表征所述第一词的数量，y用于表征所述第二词的数量，z用于表征所述待查重文档中词的总数。

优选地，

所述根据所述待查重文档的分词结果和所述对比文档的分词结果，进行聚类分析，确定第二相似度，包括：

根据所述待查重文档的分词结果，按照词频由高到低的顺序，在所述待查重文档中确定目标数量的第一高频词；

根据所述对比文档的分词结果，按照词频由高到低的顺序，在所述对比文档中确定所述目标数量的第二高频词；

确定所述待查重文档中包括所述第一高频词的至少一个第一语句；

确定所述对比文档中包括所述第二高频词的至少一个第二语句；

确定同时存在于所述至少一个第一语句和所述至少一个第二语句中的第三词的数量；

确定所述至少一个第一语句中第四词的数量，其中，所述第四词在所述至少一个第二语句中存在同义词；