[发明专利]基于句子级别的文本特征提取方法和文档拷贝检测系统

权利要求书

1.一种基于句子级别的文本特征提取方法，选取一定数量的具有最低逆向文件频率的常见词汇作为先行词，以抽取改进的Shingle特征，用以表示整个句子； 设一个Low-IDF-Sig特征s_i表示为一条紧跟在一个先行词a_i后的具有固定长度c_i的词链，该词链的取词间隔为一个固定值d_j ；使用标记a_i(d_i,c_i)表示一个先行词为a_i，词链长度为c_i，取词间隔为d_i的Low-IDF-Sig特征s_i；具体步骤如下：

（1）给定先行词集合A，词链长度c，取词间隔d；

（2）遍历句子中的每个词，若词汇出现在先行词集合中，词汇当前位置为p，则提取p+0*d, p+1*d, p+2*d…p+c*d处的词形成一个特征；

（3）对句子中的每个词重复步骤（2），直到没有更多词汇，从而将句子转换为一个有权特征集合。

2.一种基于句子级别的文档拷贝检测系统，其特征在于由文档读取子系统、断句子系统、特征提取子系统、拷贝检测子系统、序列匹配子系统组成；其中：

所述文档读取子系统，以文档集合作为输入，单个的文档为输出，用于读取文档集合中的文档，并将单个的文档输出到后续的断句子系统中；

所述断句子系统，以文档读取子系统输出的单个文档为输入，单个的句子为输出，用于读取文档并断句后输出文本表示的句子；

所述特征提取子系统，以断句子系统输出的单个句子为输入，句子的特征向量表示以及倒排索引为输出，用于将句子文本转换为特征向量表示，并加入倒排索引中；

所述拷贝检测子系统，以特征提取子系统输出的句子的特征向量表示以及倒排索引为输入，互为拷贝的句子对集合为输出，用于根据倒排索引找出互为拷贝的句子对；

所述序列匹配子系统，以拷贝检测子系统输出的互为拷贝的句子对集合为输入，互为拷贝的段落序列集合为输出，用于将句子对集合按照文档组织起来，并找出互为拷贝的序列；

文档拷贝检测系统处理流程为：首先由文档读取子系统从文档集合中获取一个文档，由断句子系统将文档转换为句子的集合，然后由特征提取子系统将句子转换为特征向量，并加入倒排索引中；当对所有文档都进行过上述处理后，由拷贝检测子系统分析倒排索引和句子向量集合，找出互为拷贝的句子对；最后由序列匹配子系统将句子对按照文档整理，匹配文档中互为拷贝的序列，并产生最后的结果。

3.根据权利要求2所述的基于句子级别的文档拷贝检测系统，其特征在于所述拷贝检测子系统使用如下相似度计算方法：假设两个句子经过转换，变为两个由Low-IDF-Sig特征组成的集合：A和B，它们间的相似度定义为：

        

其中，freqA(sj)表示特征sj在带权重集合A中出现的频率，同样，freqB(sj)表示特征sj在带权重集合B中出现的频率。