[发明专利]一种文本内容去重的方法

摘要

本发明公开了一种文本内容去重的方法，通过文件指纹的对比、正文内容指纹的对比以及文本各段落指纹的对比判断待判重文本是否和文本库中的文本是否相同。本发明计算开销低、判重速率快、响应速度快，可以精确地对排版不同而内容相同文本的判重处理，且可以精确地对少量内容不同的文本的判重处理。本发明使用范围广，如文库上传判重处理，网络爬虫网页处理，论文和试卷抄袭检测等。

主权项

一种文本内容去重的方法，其特征在于，包括以下步骤：S1：通过文件指纹的对比判断待判重文本是否和文本库中的文本相同；S2：通过对正文内容指纹的对比判断待判重文本是否和文本库中的文本相同；S3：通过对文本各段落指纹的对比判断待判重文本是否和文本库中的文本相同；所述步骤S2包括以下步骤：S21：采用哈希函数计算文本库内各个文本的文本首段和文本正文的哈希值分别为hdi，hci；得到文本库正文内容的哈希集合hlc＝{{hd1，hc1}，{hd2，hc2}，...，{hdN，hcN}}；其中，hdi为文本库中第i个文本的文本首段哈希值，hci为文本库中第i个文本的文本正文哈希值，N为文本库中文本的数量；所述文本首段是文字内容中的第一段落的文本；所述文本正文是文字内容中除了第一段落之外的文本；S22：采用哈希函数计算待判重的文本的文本首段和文本正文的哈希值分别为hdt，hct；S23：从文本库正文内容的哈希集合hlc查找元素{hdt，hct}；如果找到，则返回文本库存在相同的文本并结束；否则执行步骤S3；所述步骤S3包括以下步骤：S31：采用哈希函数对文本库中各文本各个段落分别计算哈希值，得到各文本的段落哈希值集合其中，hli为文本库中第i个文本的段落哈希值的集合，hli，j为文本库中第i个文本的第j段落的哈希值，si为文本库中第i个文本的段落数；S32：采用哈希函数对待判重文本中各个段落分别计算哈希值，得到待判重文本的段落哈希值集合其中hti为待判重文本的第i段落的哈希值，st为待判重文本的段落数；S33：根据文本库中各文本的段落哈希值集合hli和待判重文本的段落哈希值集合ht计算文本库中各文本与待判重文本的相似度得到相似度集合R＝{r1，r2，...，rN}；其中，N为文本库中文本的数量，ri为文本库第i个文本与待判重文本的相似度，或S34：判断相似度集合R＝{r1，r2，...，rN}中是否存在rm大于预先设定的阈值rthreshold。