[发明专利]一种基于机器学习的版权追踪方法

说明书

本发明公开了一种基于机器学习的版权追踪方法，涉及网络文献版权追踪技术领域。本发明包括：构件神经网络主题模型，对用户录入文章的语义分析提取关键词；将关键词作为搜索引擎的输入参数，获取搜索结果集；通过爬虫算法，获取搜索结果集中搜索结果对应网页中的目标文章；通过Word2Vec算法模型计算网页中的目标文章与用户录入文章内容的相似度。本发明通过获取与预发布文章主题相似度高的关键字，并通过关键字在互联网网站获取与关键字匹配的目标文章，最后通过文本内容比较算法比较预发布文章与目标文章的相似度判断预发布文章是否存在版权侵犯，方便操作、提高互联网文章版权追踪效率并且提高预发布文章与目标文章的相似度的准确率和可信度。

技术领域

本发明属于网络文献版权追踪技术领域，特别是涉及一种基于机器学习的版权追踪方法。

背景技术

随着互联网在生活中扮演着越来越重要的角色，生活中文章的阅读也越来越多的人通过互联网网站网页阅读文章。由于互联网的开放性，很多文章十分相似甚至有些文章涉及版权问题。这就导致在互联网文章发布前，需要进行版权侵犯检索，目的是为了从互联网文库中检索是否存在与要发布的文章十分相似的文章用于判断是否构成版权侵权。

现有技术一般是基于已经下载下来的互联网文章的内容进行相似度比较，没有使用到爬虫相关算法，步骤繁琐、效率较低、文章对比基数小导致可信度低。并且传统的文本内容比较算法利用的是传统的算法，将文章分割成句，然后使用字面距离相关的计算公式，计算出句子之间的匹配度，从而得出文章之间的相似度，这样相似度对比的级别限制在句子级别，但是很多文章虽然在句子级别相似度较低，但是文章本身表达的内容相似度很高，导致相似度的可信度较低，存在较大误差。

本发明致力于研发一种基于机器学习的版权追踪方法，用于解决现有的互联网文章版权追踪方法效率较低、文章相似度判断的可信度低的问题。

发明内容

本发明的目的在于提供一种基于机器学习的版权追踪方法，通过获取与预发布文章主题相似度高的关键字，并通过关键字在互联网网站获取与关键字匹配的目标文章，最后通过文本内容比较算法比较预发布文章与目标文章的相似度判断预发布文章是否存在版权侵犯，解决了现有互联网文章版权追踪方法效率较低、文章相似度判断的可信度低的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于机器学习的版权追踪方法，包括如下步骤：

步骤一：构件神经网络主题模型，利用TF-IDF算法与TextRank算法相结合，通过对用户录入文章的语义分析提取关键词；

步骤二：将所述关键词作为搜索引擎的输入参数，获取搜索结果集；

步骤三：通过爬虫算法，获取所述搜索结果集中搜索结果对应网页中的目标文章；

步骤四：通过Word2Vec算法模型计算网页中的所述目标文章与用户录入文章内容的相似度；根据用户录入文章与目标文章的相似度判断用户录入文章是否对目标文章构成版权侵犯。

优选地，步骤一中具体过程如下：

通过对所述录入文章的内容分词，根据词性获取录入文章的候选关键词；

根据大规模语料学习得到主题模型，计算所述录入文章的主题分布和候选词分布；

计算录入文章的主题和候选关键词的主题相似度并排序；

按照主题相似度由高到低选取相似度较高的若干个作为关键词，一般选取10个，具体的数目要根据候选关键字的个数确定。

优选地，步骤三还包括如下过程：

通过训练获取一个分类器，用于提取目标信息，例如：正文内容、发布时间；