[发明专利]一种多源数据文档实时快速去重方法及系统

权利要求书

1.一种多源数据文档实时快速去重方法，其特征在于，包括以下步骤：

接收当前文档并对当前文档进行过滤，得到过滤后的文档数据；

通过局部敏感性hash算法，计算出文档数据的特征字；

根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似；

如果不相似，则将当前文档的特征字和文档数据存储到数据库，否则不存储；

所述根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似，具体步骤为：

计算当前文档的特征字与之前文档的特征字的海明距离，如果海明距离大于等于N，则当前文档与之前文档不相似，否则相似，并得到初步相似文档；

计算当前文档的正文内容与初步相似文档的正文内容的字数差，如果字数差大于M，则当前文档与初步相似文档不相似，否则相似，并得到二度相似文档；

所述根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似，还包括：

提取当前文档的关键词和二度相似文档的关键词；

当前文档的关键词个数或二度相似文档的关键词个数小于等于3时，如果相同关键词个数小于2，则当前文档与二度相似文档不相似，否则相似，并得到三度相似文档；

当前文档的关键词个数和二度相似文档的关键词个数均是大于3时，如果相同关键词个数小于3，则当前文档与二度相似文档不相似，否则相似，并得到三度相似文档；

所述根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似，还包括：

计算当前文档的数据值占位量和三度相似文档的数据值占位量，如果两文档的数据值占位量相同且数据不同，则当前文档和三度相似文档不相似，否则相似。

2.根据权利要求1所述的一种多源数据文档实时快速去重方法，其特征在于，所述通过局部敏感性hash算法，计算出文档数据的特征字，具体步骤为：

将文档数据中的正文内容进行分词，并得到如果干个词；

通过词频统计方法统计出每个词的权重；

将每个词用Hash算法映射出一个hash值；

根据权重对每个词的hash值进行加权计算，得到加权后的数字串；

将所有词的数字串进行按位求和，得到最终的数字串；

将最终的数字串转换为01形式的64位字节的特征字。

3.根据权利要求1所述的一种多源数据文档实时快速去重方法，其特征在于，所述文档数据包括文章标题、ID编号、正文内容和数据来源标识，所述将当前文档的特征字和文档数据存储到数据库，具体步骤为：

将当前文档的特征字和编号ID组合成当前文档的key值；

将当前文档的文章标题、ID编号、正文内容、数据来源标识和key值存储到redis数据库。

4.根据权利要求3所述的一种多源数据文档实时快速去重方法，其特征在于，在当前文档与之前文档进行相似比较前，从数据库中提取出之前文档的key值，根据key值得到之前文档的特征字。