[发明专利]近似重复文档检测方法及装置

摘要

本发明涉及一种近似重复文档检测方法及装置，所述计算方法包括对两个待检测文档分别进行切词处理，得到所述待检测文档各自的分词集合；计算两个所述分词集合中所有分词对的编辑相似度，每个所述分词对的两个分词分别来源于两个所述分词集合；在所述所有分词对中所述编辑相似度满足要求的分词对之间建立边，所述编辑相似度为对应分词对的边的权值，得到加权偶图；计算所述加权偶图的最大加权匹配值；利用所述最大加权匹配值，计算所述待检测文档之间的相似度。本发明提供的文档相似度计算方法、近似重复文档检测方法及装置，准确率高，能有效识别包含分词集编辑错误的近似重复文本，提高近似重复文档检测准确度，降低计算复杂度，优化计算效率。

主权项

一种近似重复文档检测方法，其特征在于，所述方法包括：对各待检测文档进行切词处理，以及将切词处理得到的分词进行编号并记录分词编号，得到所述各待检测文档各自的编号后的分词集合；其中，所述分词编号表示该分词在所述待检测文档中出现的顺序；分别将同一待检测文档对应的分词集合中的各分词划分为所述分词的子串，利用所述子串形成所述分词的签名集合；将所述同一检测文档对应的分词集合中所有分词的签名集合合并，并记录每个子串所在的分词编号；对所述合并后的签名集合中的各子串进行排序，将满足要求的子串组成所述待检测文档的文档签名；对所述文档签名建立反向索引，将出现在同一子串对应的索引表项中的两个分词集合对应的文档配对成文档对并加入候选集中；计算所述候选集中文档对的相似度，将所述相似度满足要求的文档对识别为近似重复文档。