[发明专利]基于倒序索引的微博去重方法和系统

权利要求书

1.一种基于倒序索引的微博去重的方法，所述方法包括：

由模型训练模块根据词库数据对文本进行分词；

由simhash模块根据分词后的结果对文本进行词频统计以将其转换为N维向量，并且对所述N维向量进行simhash运算以便获得f位的二进制签名；

由去重运算模块执行以下操作：

根据设定参数将所述f位的二进制签名分段，并依据分段结果建立倒序索引；

根据所建立的倒序索引来分段检索第一分段下的签名集合，并计算所述第一分段中的对应的海明距离；以及

确定在所述第一分段中的所计算的海明距离是否在所述设定参数范围内。

2.根据权利要求1所述的方法，进一步包括：

如果所计算的海明距离不在所述设定的参数范围内，则认为所述文本不重复而将所述分段存储在倒序索引存储模块中。

3.根据权利要求1或2所述的方法，进一步包括：

如果在所述第一分段中的所计算的海明距离在所述设定的参数范围内，则根据所建立的倒序索引来分段检索第二分段下的签名集合并计算所述第二分段中的对应的海明距离；以及

确定在所述第二分段中的所计算的海明距离是否在所述设定参数范围内。

4.根据权利要求1所述的方法，其中，所述分段的数目大于所述设定的参数的值。

5.根据权利要求1所述的方法，其中，所述设定的参数范围是0-7。

6.一种基于倒序索引的微博去重的系统，所述系统包括：

模型训练模块，所述模型训练模块被配置成根据词库数据对文本进行分词；

simhash模块，所述simhash模块被配置成根据分词后的结果对文本进行词频统计以将其转换为N维向量，并且对所述N维向量进行simhash运算以便获得f位的二进制签名；

去重运算模块，所述去重运算模块被配置成执行以下操作：

根据设定参数将所述f位的二进制签名分段，并依据分段结果建立倒序索引；

根据所建立的倒序索引来分段检索第一分段下的签名集合，并计算与所述第一分段的签名集合相对应的海明距离；以及

确定在所述第一分段中的所计算的海明距离是否在所述设定参数范围内。

7.根据权利要求6所述的系统，其中所述去重运算模块进一步被配置成：

如果所计算的海明距离不在所述设定的参数范围内，则认为所述文本不重复而将所述分段存储在倒序索引存储模块中。

8.根据权利要求6所述的系统，所述去重运算模块进一步被配置成：

如果在所述第一分段中的所计算的海明距离在所述设定的参数范围内，则根据所建立的倒序索引来分段检索第二分段下的签名集合并计算与所述第二分段的签名集合相对应的海明距离；以及

确定在所述第二分段中的所计算的海明距离是否在所述设定参数范围内。

9.根据权利要求6所述的系统，其中，所述分段的数目大于所述设定的参数的值。

10.根据权利要求6所述的系统，其中，所述设定的参数范围是0-7。