[发明专利]一种查找相似文本的方法及连接位相似性度量算法

权利要求书

1.一种查找相似文本的方法，其特征在于包括以下步骤：

步骤一，文本特征提取步骤：该步骤用于提取文本特征集合S_shgs；

步骤二，连接位指纹生成步骤：该步骤用于将S_shgs生成连接位指纹，记为S_dn；

步骤三，连接位相似性度量步骤：该步骤用于比较两个文档的连接位指纹相似度；

步骤四，利用获得的连接位指纹相似度结果，获取需要的文本。

2.根据权利要求1所述的查找相似文本的方法，其特征在于步骤一具体包括：

首先，对文本信息进行扫描分析，利用中文分词算法对文档进行分词，生成词语集合；然后，构建停用词表，并利用停用词表过滤掉文本噪音数据后的分词集合即为文档的特征集合S_shgs。

3.根据权利要求1-2所述的查找相似文本的方法，其特征在于，步骤二的具体步骤包括：

首先，形成minwise指纹；然后，形成b位minwise指纹；最后形成连接位指纹。

4.根据权利要求1-3所述的连接位相似性度量算法，其特征在于，步骤三的具体步骤包括：

定义z₁，z₂是一个随机置换群π作用在文档1、文档2的minwise指纹集合S₁和S₂上的最小值：

z₁＝min{π(S₁)}，z₂＝min{π(S₂)}，

定义 表示在π_j作用下z₁(z₁)的低位数起的第i位。定义b位时连接n个的连接位变量x₁，x₂

只有当时，x₁＝x₂。

设定符号G_b，n表示x₁＝x₂的概率，其中b是位数，n表示连接数，则可得：

G_b，n＝E_bⁿ，

则文档1、文档2相似度的估计为：

其中

。

5.一种连接位相似性度量算法，其特征在于包括：

步骤一，文本特征提取步骤：该步骤用于提取文本特征集合S_shgs；

步骤二，连接位指纹生成步骤：该步骤用于将S_shgs生成连接位指纹，记为S_dn；

步骤三，连接位相似性度量步骤：该步骤用于比较两个文档的连接位指纹相似度。