[发明专利]基于签名压缩机制的近似重复文本检测方法及装置

权利要求书

1.一种基于签名压缩机制的近似重复文本检测方法，其特征在于，包括：

确定当前检测文档x和y；

获得所述当前检测文档x和y的签名压缩长度：C(sig(x))和C(sig(y))；

将所述签名压缩长度C(sig(x))和C(sig(y))代入标准化压缩距离公式，计算出基于签名的标准化压缩距离值；

根据基于签名的标准化压缩距离值，得到所述当前检测文档x和y是否为近似重复文档的比较结果。

2.根据权利要求1所述的方法，其特征在于，所述确定当前检测文档x和y的步骤，包括：

获取多个待检测文档；

根据签名提取规则，分别提取所述每个待检测文档的签名；

压缩所述每个待检测文档的签名，得到所述每个待检测文档的签名压缩长度；

从所述每个待检测文档中，选择2个未比较的待检测文档确定为当前检测文档x和y；

所述获得所述当前检测文档x和y的签名压缩长度：C(sig(x))和C(sig(y))的步骤，包括：从所述每个待检测文档的签名压缩长度中，获得所述当前检测文档x和y的签名压缩长度：C(sig(x))和C(sig(y))；

所述方法，还包括：

返回所述从所述每个待检测文档中，选择2个未比较的待检测文档确定为当前检测文档x和y的步骤，直至每个待检测文档都与其他待检测文档完成比较。

3.根据权利要求2所述的方法，其特征在于，所述根据签名提取规则，分别提取所述每个待检测文档的签名之前，所述方法还包括：

使用正则表达式，去除所述每个待检测文档中的超文本标记语言HTML框架元素。

4.根据权利要求2所述的方法，其特征在于，所述根据签名提取规则，分别提取所述每个待检测文档的签名，包括：

使用标点符号作为定位点，在每个所述待检测文档中提取位于每个所述定位点前后的字或单词作为每个所述待检测文档的签名。

5.根据权利要求2所述的方法，其特征在于，所述从所述每个待检测文档的签名压缩长度中，获得所述当前检测文档x和y的签名压缩长度：C(sig(x))和C(sig(y))的步骤之后，还包括：

判断所述签名压缩长度C(sig(x))和C(sig(y))是否满足第一剪枝规则；

若满足，返回所述从所述每个待检测文档中，选择2个未比较的待检测文档确定为当前检测文档x和y的步骤，直至判断所述签名压缩长度C(sig(x))和C(sig(y))不满足所述第一剪枝规则；

若不满足，执行所述将所述签名压缩长度C(sig(x))和C(sig(y))代入标准化压缩距离公式，计算出基于签名的标准化压缩距离值的步骤；

其中，所述第一剪枝规则为：其中，τ为预设近似度阈值。

6.根据权利要求5所述的方法，其特征在于，在判断所述签名压缩长度C(sig(x))和C(sig(y))不满足所述第一剪枝规则之后，还包括：

判断所述每个待检测文档的签名压缩长度中，是否存在同时小于C(sig(x))和C(sig(y))的签名压缩长度C(sig(z))；

若存在，判断所述签名压缩长度C(sig(x))、C(sig(y))和C(sig(z))是否满足第二剪枝规则；

若满足，返回所述从所述每个待检测文档中，选择2个未比较的待检测文档确定为当前检测文档x和y的步骤，直至判断所述签名压缩长度C(sig(x))和C(sig(y))不满足所述第二剪枝规则；

若不满足，执行所述将所述签名压缩长度C(sig(x))和C(sig(y))代入标准化压缩距离公式，计算出基于签名的标准化压缩距离值的步骤；

其中，所述第二剪枝规则为：|NCD(x,z)-NCD(y,z)|≥τ，τ为所述预设近似度阈值，NCD(x,z)为所述待检测文档x和y的标准化压缩距离值，NCD(y,z)为所述待检测文档y和z的标准化压缩距离值。