[发明专利]相似网页检测方法、装置、存储介质及电子设备

说明书

本公开涉及一种相似网页检测方法、装置、存储介质及电子设备，在目标文本中选取第一预设个数的目标句子；使用第二预设个数的搜索引擎对每个目标句子进行搜索，并根据第二预设规则从搜索结果中选取第三预设个数的目标网页；获取所有目标网页中的网页文本信息；计算目标文本与网页文本信息的匹配率，并将匹配率大于第一预设阈值的网页确定为与目标文本相似的网页。这样，能够通过将待识别的目标文本分句，并利用搜索引擎进行搜索得到与所述目标文本具有相似内容的目标网页，通过对目标网页中的文本信息与目标文本进行匹配，从而实现将与目标文本相似的网页检测出来的效果，这样就能够轻松地检测到目标文本是否抄袭于其他的网页内容。

技术领域

本公开涉及文本识别领域，具体地，涉及一种相似网页检测方法、装置、存储介质及电子设备。

背景技术

网站内容投稿的搬运抄袭现象屡见不鲜，多个网站出现内容相近的内容的情况也是现在网络社区的一种常态，这不仅仅损害了原创作者的利益，同时也对无法识别抄袭内容的网站造成一定的影响。因此需要一种对文本在全网进行相似度检测的方法，这样就能够针对投稿进行抄袭识别，以避免投稿是抄袭于其他网站内容但无法检测出来的现象。

发明内容

本公开的目的是提供一种相似网页检测方法、装置、存储介质及电子设备，能够实现将与目标文本相似的网页检测出来的效果，这样就能够轻松地检测到目标文本是否抄袭于其他的网页内容。

为了实现上述目的，本公开提供一种相似网页检测方法，所述方法包括：

在目标文本中选取第一预设个数的目标句子；

使用第二预设个数的搜索引擎对每个所述目标句子进行搜索，以得到第三预设个数的目标网页；

获取所有所述目标网页中的网页文本信息；

计算所述目标文本与所述网页文本信息的匹配率，并将所述匹配率大于第一预设阈值的网页确定为与所述目标文本相似的网页，其中，所述匹配率越高，表征所述目标文本与所述网页文本信息越相似。

可选地，所述在目标文本中选取第一预设个数的目标句子包括：

根据第一预设规则对所述目标文本进行分句，并在根据所述第一预设规则对所述目标文本进行分句后所得到的所有句子中进行采样，以获取所述第一预设个数的目标句子。

可选地，所述使用第二预设个数的搜索引擎对每个所述目标句子进行搜索，以得到第三预设个数的目标网页包括：

使用第二预设个数的搜索引擎对每个所述目标句子进行搜索，选取每个所述搜索引擎针对每个所述目标句子返回的搜索结果网页中的前第四预设个数的网页作为基础召回网页；

计算每个所述目标句子与相对应的所述基础召回网页的摘要文本之间的相似率，所述相似率越高，表征所述摘要文本与所述目标句子之间越相似；

计算所述相似率高于第二预设阈值的所述基础召回网页与对应的所述目标句子之间的相似度；

根据所述相似度，将与所述目标句子最相似的前第三预设个数的网页确定为所述目标网页。

可选地，所述计算每个所述目标句子与相对应的所述基础召回网页的摘要文本之间的相似率包括：

对每个所述目标句子和所述摘要文本进行分词；

分别将每个所述目标句子中的词与相对应的所述摘要文本中的词进行匹配，并将匹配到的所述目标句子中的词的个数与所述目标句子中的词的总数的第一比值确定为所述相似率；

所述计算所述相似率高于第二预设阈值的所述基础召回网页与对应的所述目标句子之间的相似度包括：

根据以下公式计算所述相似度：