[发明专利]近似重复文档检测方法及装置

权利要求书

1.一种近似重复文档检测方法，其特征在于，所述方法包括：

对各待检测文档进行切词处理，以及将切词处理得到的分词进行编号并记录分词编号，得到所述各待检测文档各自的编号后的分词集合；其中，所述分词编号表示该分词在所述待检测文档中出现的顺序；

分别将同一待检测文档对应的分词集合中的各分词划分为所述分词的子串，利用所述子串形成所述分词的签名集合；

将所述同一检测文档对应的分词集合中所有分词的签名集合合并，并记录每个子串所在的分词编号；对所述合并后的签名集合中的各子串进行排序，将满足要求的子串组成所述待检测文档的文档签名；

对所述文档签名建立反向索引，将出现在同一子串对应的索引表项中的两个分词集合对应的文档配对成文档对并加入候选集中；

计算所述候选集中文档对的相似度，将所述相似度满足要求的文档对识别为近似重复文档。

2.根据权利要求1所述的方法，其特征在于，对所述合并后的签名集合中的各子串进行排序，将满足要求的子串组成所述待检测文档的文档签名，包括：

对所述合并后的签名集合中的各子串进行排序；

从后往前删除所述排序后的签名集合中的子串，并采用数据结构表记录已删除子串对应的分词编号；

如果被删除的子串对应的分词编号未在所述数据结构表中出现过，则将其加入所述数据结构表中；

当所述数据结构表中的元素个数达到M时，停止删除，所述M为预设个数阈值；

将剩余的子串组成所述待检测文档的文档签名。

3.根据权利要求1所述的方法，其特征在于，分别将同一待检测文档对应的分词集合中的各分词划分为所述分词的子串，包括：

对所述分词集合中的每个分词，采用q元法q-gram划分得到原分词中所有长度为q的连续子串。

4.根据权利要求3所述的方法，其特征在于，利用所述子串形成所述分词的签名集合，包括：

对所述连续子串排序，保留前N个子串，其中N为预设正整数；

利用所述保留的子串形成所述分词的签名集合。

5.根据权利要求1所述的方法，其特征在于，所述计算所述候选集中文档对的相似度，包括：

计算所述候选集中文档对的两个分词集合T₁,T₂中所有分词对(t_1,i，t_2,j)的编辑相似度，其中，t_1,i∈T₁、t_2,j∈T₂，1≤i≤|T1|、1≤j≤|T2|、|T1|和|T2|分别为分词集合T₁与T₂的基数；

在所述编辑相似度满足要求的分词对之间建立边，所述编辑相似度为对应分词对的边的权值，得到加权偶图；

计算所述加权偶图的最大加权匹配值f_δ(T₁,T₂)；

利用所述最大加权匹配值f_δ(T₁,T₂)，计算所述分词集合T₁,T₂对应的文档s₁,s₂之间的相似度F_δ(s₁,s₂)。

6.根据权利要求5所述的方法，其特征在于，所述计算加权偶图的最大加权匹配值f_δ(T₁,T₂)，包括：

在所述加权偶图中找到权值之和最大且不共顶点的边集，将所述权值之和最大且不共顶点的边集的权值之和作为所述加权偶图的最大加权匹配值f_δ(T₁,T₂)。