[发明专利]相似网页检测方法、装置、存储介质及电子设备

权利要求书

1.一种相似网页检测方法，其特征在于，所述方法包括：

在目标文本中选取第一预设个数的目标句子；

使用第二预设个数的搜索引擎对每个所述目标句子进行搜索，并根据第二预设规则从搜索结果中选取第三预设个数的目标网页；

获取所有所述目标网页中的网页文本信息；

根据第三预设规则对所述目标文本进行分句，并计算所得到的所有句子分别在所述网页文本信息中的匹配分数，且针对每一个所述网页文本信息，将与所述网页文本信息的所述匹配分数大于第三预设阈值的句子在根据所述第三预设规则对所述目标文本进行分句后所得到的所有句子中所占的比例作为所述目标网页的匹配率，其中，所述匹配分数用于表征所述目标文本中的句子与所述网页文本信息之间的相似程度，匹配分数越高，相似程度越高，并将所述匹配率大于第一预设阈值的网页确定为与所述目标文本相似的网页，其中，所述匹配率越高，表征所述目标文本与所述网页文本信息越相似；

所述匹配分数的计算方法为：

对根据所述第三预设规则对所述目标文本进行分句后所得到的所有句子进行分词，并根据所述所有句子中包含的词的个数分别设置可移动窗口，通过逐词移动所述可移动窗口来进行所述所有句子与所述网页文本信息之间的匹配；

在每次匹配中，若所述网页文本信息中在所述可移动窗口中显示的词与所述可移动窗口所对应的所述目标文本中的词的相匹配的比例不小于第五预设阈值，则计算所述目标文本中被匹配到且相邻的词之间的距离与词总数的第二比值，并将所述第二比值中最大的比值作为与所述可移动窗口相对应的句子的匹配分数，其中，所述词总数为所述可移动窗口中的总词数减一。

2.根据权利要求1所述的方法，其特征在于，所述在目标文本中选取第一预设个数的目标句子包括：

根据第一预设规则对所述目标文本进行分句，并在根据所述第一预设规则对所述目标文本进行分句后所得到的所有句子中进行随机采样，以获取所述第一预设个数的目标句子。

3.根据权利要求1所述的方法，其特征在于，所述第二预设规则包括：

选取每个所述搜索引擎针对每个所述目标句子返回的搜索结果网页中的前第四预设个数的网页作为基础召回网页；

计算每个所述目标句子与相对应的所述基础召回网页的摘要文本之间的相似率，所述相似率越高，表征所述摘要文本与所述目标句子之间越相似；

计算所述相似率高于第二预设阈值的所述基础召回网页与对应的所述目标句子之间的相似度；

根据所述相似度，将与所述目标句子最相似的前第三预设个数的网页确定为所述目标网页。

4.根据权利要求3所述的方法，其特征在于，所述计算每个所述目标句子与相对应的所述基础召回网页的摘要文本之间的相似率包括：

对每个所述目标句子和所述摘要文本进行分词；

分别将每个所述目标句子中的词与相对应的所述摘要文本中的词进行匹配，并将匹配到的所述目标句子中的词的个数与所述目标句子中的词的总数的第一比值确定为所述相似率；

所述计算所述相似率高于第二预设阈值的所述基础召回网页与对应的所述目标句子之间的相似度包括：

根据以下公式计算所述相似度：

score＝hit_rate*10+return_counts，

其中，所述score为所述相似度，所述hit_rate为所述相似率，所述return_counts为返回了所述基础召回网页的所述搜索引擎的个数。

5.根据权利要求1所述的方法，其特征在于，所述网页文本信息包括网页正文、发表时间、作者名称中一者或多者。