[发明专利]一种多源数据文档实时快速去重方法及系统

说明书

本发明属于信息处理技术领域，具体涉及一种多源数据文档实时快速去重方法及系统，包括以下步骤：接收当前文档并对当前文档进行过滤，得到过滤后的文档数据；通过局部敏感性hash算法，计算出文档数据的特征字；根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似；如果不相似，则将当前文档的特征字和文档数据存储到数据库，否则不存储。本发明能够对不同来源的相似的文档数据进行实时快速的去重处理，避免相似文档的重复存储。

技术领域

本发明属于信息处理技术领域，具体涉及一种多源数据文档实时快速去重方法及系统。

背景技术

不同网站来源的文档数据由于转发或者借鉴，存在文章内容相同或者重复率较高的情况，在实际应用中，需要将此类相似文章筛选过滤，以往的人工编辑的方法需要消耗大量的人力成本，且对于新闻类需要实时推送的数据，人工操作去重的时效性非常低，而一般的去重算法，在线计算过程中内存占用率高，当数据量过大时，容易导致内存溢出，离线计算虽能解决内存溢出的问题但却无法保证去重的时效性。

发明内容

针对现有技术中的缺陷，本发明提供了一种多源数据文档实时快速去重方法及系统，能够对不同来源的相似的文档数据进行实时快速的去重处理，避免相似文档的重复存储。

第一方面，本发明提供了一种多源数据文档实时快速去重方法，包括以下步骤：

接收当前文档并对当前文档进行过滤，得到过滤后的文档数据；

通过局部敏感性hash算法，计算出文档数据的特征字；

根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似；

如果不相似，则将当前文档的特征字和文档数据存储到数据库，否则不存储。

优选地，所述通过局部敏感性hash算法，计算出文档数据的特征字，具体步骤为：

将文档数据中的正文内容进行分词，并得到如果干个词；

通过词频统计方法统计出每个词的权重；

将每个词用Hash算法映射出一个hash值；

根据权重对每个词的hash值进行加权计算，得到加权后的数字串；

将所有词的数字串进行按位求和，得到最终的数字串；

将最终的数字串转换为01形式的64位字节的特征字。

优选地，所述根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似，具体步骤为：

计算当前文档的特征字与之前文档的特征字的海明距离，如果海明距离大于等于N，则当前文档与之前文档不相似，否则相似，并得到初步相似文档；

计算当前文档的正文内容与初步相似文档的正文内容的字数差，如果字数差大于M，则当前文档与初步相似文档不相似，否则相似，并得到二度相似文档。

优选地，所述根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似，还包括：

提取当前文档的关键词和二度相似文档的关键词；

当前文档的关键词个数或二度相似文档的关键词个数小于等于3时，如果相同关键词个数小于2，则当前文档与二度相似文档不相似，否则相似，并得到三度相似文档；

当前文档的关键词个数和二度相似文档的关键词个数均是大于3时，如果相同关键词个数小于3，则当前文档与二度相似文档不相似，否则相似，并得到三度相似文档。

优选地，所述根据特征字和文档数据，判断当前文档与数据库存储的之前文档是否相似，还包括：