[发明专利]一种文本相似性比对方法

说明书

本发明公开了一种文本相似性比对方法，涉及网络作品比对技术领域。本发明实施例中，文本相似性比对在系统的架构上采用分布式架构，在比对算法上采用多粒度分层算法，包括以文档为粗粒度的相似度比对，以及以分段文本为细粒度的相似度比对，从而在内容相似性比对的效率和精确性上取得了较好的均衡，实现了如下的性能指标：在构建的测试数据上，平均漏警率和虚警率≤10％，比对响应时间≤0.1秒。

技术领域

本发明涉及网络作品比对技术领域，尤其涉及一种文本相似性比对方法。

背景技术

目前，随着互联网技术的迅速发展，网络作品的传播速度越来越快，传播范围越来越广泛，对网络作品的侵权行为也越来越多，为了解决通过网络发生的作品侵权行为，可以使用网络侵权追踪开发平台对作品进行监测追踪。

在追踪的过程中，主要是使用网络爬虫技术，首先从互联网上抓取作品，然后与网络侵权追踪开发平台的作品库中存储的作品进行内容相似性比对，从而确认网络作品是否为侵权作品。

其中，网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。随着网络的迅速发展，不断优化的网络爬虫技术正在有效地应对各种挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑。网络爬虫也为中小站点的推广提供了有效的途径。

而在进行内容相似性比对时，由于作品库中有上千万的作品，网络侵权追踪开发平台从互联网上抓取的作品数量更是作品库中作品数量的几百倍以上，因此，两两相比的次数庞大，工作量大，效率及准确率均比较低。

发明内容

本发明的目的在于提供一种文本相似性比对方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种文本相似性比对方法，包括如下步骤：

S1，以文档为粗粒度，根据词的浅层次相似度从注册作品库中筛选出相似度最大的N个作品形成候选作品集，其中，N为自然数；

S2，对所述候选作品集中的每个作品进行文本分段，得到分段文本；

S3，以所述分段文本为细粒度，进行文本细粒度相似度比对。

进一步地，S1之前还包括步骤S0：对所述文档进行分词和词性标注。

进一步地，S0和S1之间还包括步骤：对所述分词进行过滤处理。

优选地，所述对所述分词进行过滤处理，采用插件式过滤链，所述插件式过滤链包括停用词过滤器和/或同义词过滤器。

优选地，S1中，所述词的浅层次相似度，采用如下公式进行计算：

Sim(D1,D2)＝Count(D1∩D2)/(Count(D1)+Count(D2))，

式中，

D＝{W1,W2,W3…}表示文档，

Wi表示文档D中的词，

D1∩D2表示文档D1、D2中词的交集，

Count(Di)表示文档Di中词的个数。

优选地，S2中，所述文本分段包括如下方式：以段落分段、以一定数量的字词分段或以句子分段。

优选地，S3中所述文本细粒度相似度由：基于句子的浅层相似度、信息熵相似度和浅语义相似度组成和计算得到，具体地，