[发明专利]一种文本相似性比对方法

权利要求书

1.一种文本相似性比对方法，其特征在于，使用文本分析调度器将需要做文本内容相似度分析的网络作品比对任务均衡地分配给多个文本分析器，并监测文本分析器的状态；然后，在文本分析器中，采用多粒度分层算法进行文档内容相似性比对，所述多粒度分层算法包括如下步骤：

S1，以文档为粗粒度，根据词的浅层次相似度从注册作品库中筛选出相似度最大的N个作品形成候选作品集，其中，N为自然数；

S2，对所述候选作品集中的每个作品进行文本分段，得到分段文本；

S3，以所述分段文本为细粒度，进行文本细粒度相似度比对。

2.根据权利要求1所述的文本相似性比对方法，其特征在于，S1之前还包括步骤S0：对所述网络作品分配到某个文本分析器中的待比对文档和所述注册作品库中的文档进行分词和词性标注。

3.根据权利要求2所述的文本相似性比对方法，其特征在于，S0和S1之间还包括步骤：对所述分词进行过滤处理。

4.根据权利要求3所述的文本相似性比对方法，其特征在于，所述对所述分词进行过滤处理，采用插件式过滤链，所述插件式过滤链包括停用词过滤器和/或同义词过滤器。

5.根据权利要求1所述的文本相似性比对方法，其特征在于，S1中，所述词的浅层次相似度，采用如下公式进行计算：

Sim(D1,D2)＝Count(D1∩D2)/(Count(D1)+Count(D2))，

式中，

D＝{W1,W2,W3…}表示文档，

Wi表示文档D中的词，

D1∩D2表示文档D1、D2中词的交集，

Count(Di)表示文档Di中词的个数，当词有重复时，重复数不计入词的个数。

6.根据权利要求1所述的文本相似性比对方法，其特征在于，S2中，所述文本分段包括如下方式：以段落分段、以一定数量的字词分段或以句子分段。