[发明专利]基于句子级别的文本特征提取方法和文档拷贝检测系统

说明书

技术领域

本发明属于拷贝检测技术领域，具体涉及一种基于句子级别的文本特征提取方法和文档拷贝检测系统。  

背景技术

随着互联网时代的发展，信息呈现出爆炸式增长的趋势。由于数字文档本身易于被复制的特点，导致网络中出现了大数量的重复的网页和文档。这些重复的信息对基于Web信息的应用来说，造成了严重的负担。因此，对于拷贝检测问题的研究，在近年来逐渐成为了信息检索领域的一个研究热点。

现有的研究工作主要着眼于如何进行文档级别的拷贝检测。文档级别拷贝检测的研究成果在普通的网页的拷贝检测中取得了不错的成果。但目前仍存在一些问题，无法用现有的针对文档级别的方法来解决。

两个较为典型的例子分别为文档中抄袭部分和引用部分的拷贝检测。由于抄袭通常不会是文档级别的抄袭，而是段落级别和句子级别的抄袭，即将他人文章中的部分段落或句子抄入自己的文章中。因此抄袭的检测无法使用文档级别的拷贝检测方法有效地检测出来。而对于文档中的引用也存在相同的问题。在文章或是新闻中出现引用时，引用的通常是几句话或是一个短小的文字段落，因此两个文档之间的相似度不会高，因而也无法使用文档级别的拷贝检测方法有效地检测出来。

除了以上的问题之外，在网页的拷贝检测中还存在一些不能使用文档级别拷贝检测方法解决的问题，如分页新闻以及论坛中帖子（Thread）等的拷贝检测。这些问题的一个共同特点是，两个文档之中只是部分互为拷贝，这些部分拷贝需要基于更细粒度的句子级别拷贝检测的方法才能被有效地检测出来。这类问题的解决方法通常分为两个步骤：首先进行句子级别的拷贝检测，即将文档中互为拷贝的句子对检测出来；然后，通过对互为拷贝的句子进行序列匹配（即将上一步中得到的互为拷贝的句子对，按照文档集中起来，并从中找出互为拷贝的连续的序列），从而将文档间互为拷贝的部分检测并定位出来。如图1所示，文档1中第i₁个句子到第j₁个句子的部分与文档2中第m₁个句子到第n₁个句子的部分互为拷贝，而同时文档1中第i₂个句子到第j₂个句子的部分与文档2中第m₂个句子到第n₂个句子的部分互为拷贝，这样就将句子级别的拷贝检测提高到了段落的级别。

可以看出算法第一步中的句子级别的拷贝检测将直接影响到整个任务的精度和效率。因此有必要对句子级别的拷贝检测进行更详细的研究。同时如何实现一个可以高速准确地找出文档集中包含部分拷贝的文档对，并定位互为拷贝的范围的文档拷贝检测系统也是本发明的研究内容之一。

发明内容

本发明的目的在于提出一种算法精度和效率高的文本特征提取方法，以及相应的文档拷贝检测系统。

本发明提出的文本特征提取方法，是一种改进型的基于句子级别的文本特征提取方法，称为Low-IDF-Sig算法。该算法可以高效地从句子中提取出可以很好地表示整个句子核心内容的Low-IDF-Sig特征。本发明在句子级别的GoldenSet实验集上对本发明的Low-IDF-Sig方法，以及现在已有的文档级别上较有代表性的方法（包括Shingling算法、SpotSig算法以及I-Match算法）进行了综合性的评测。 

本发明提出的文档拷贝检测系统，是一种基于倒排索引进行剪枝的可以高速准确地找出文档集中包含部分拷贝的文档对，并定位互为拷贝的范围的文档拷贝检测系统。

接下来将对上述两个方面分别进行说明。

一、Low-IDF-Sig特征提取方法

该算法选取一定数量的具有最低逆向文件频率（inverse document frequency，IDF）的常见词汇作为先行词，以抽取改进的Shingle特征，用以表示整个句子。