[发明专利]一种基于相似度计算的网页变更监测方法和系统

权利要求书

1.一种基于相似度计算的网页变更监测方法，其特征在于，包含以下步骤：

S1：将网络中的网页内容通过使用网络爬虫存储至本地存储设备,计算网页内容的模糊哈希值；

S2：判断所述网页内容属于第一网页类型还是属于第二网页类型，并作出相应标记，第一网页类型为网页内容不会发生变化的网页，第二网页类型为网页内容会发生变化的网页；

S3：在设定的时间间隔后再次从网络中爬取所述网页内容，并计算此刻网页内容的模糊哈希值；

S4：计算步骤S3中获得的模糊哈希值与步骤S1中获得的模糊哈希值的相似度，相似度的取值范围为0-100；

S5：判断所述网页内容所属网页类型，若所述网页内容属于第一网页类型，则进行步骤S6；若所述网页内容属于第二网页类型，则进行步骤S7；

S6：判断相似度的取值是否为100，是，则进行步骤S61；否，则进行步骤S62；

S61：结束所述网页内容的监测；

S62:发出警告，结束所述网页内容的监测；

S7：判断相似度的取值是否为100，是，则结束所述网页内容的监测；否，则进行步骤S71；

S71：利用DIFF工具找出所述网页内容相比初始状态的差异；

S72：判断差异是否由于图片变化引起，是，则进行步骤S8；否，则进行步骤S9；

S8：将图片内容与恶意内容特征进行匹配，检测图片中是否有异常内容；是，则进行步骤S81；否，则进行步骤S82；

S81：发出警告，结束所述网页内容的监测；

S82：结束所述网页内容的监测；

S9：与敏感词库进行匹配，若匹配到敏感词，则发出警告；

所述步骤S8中调用图片识别算法对图片内容进行识别，将图片内容与恶意内容特征进行匹配，检测图片中是否有异常内容；是，则进行步骤S81；否则进行步骤S82。

2.根据权利要求1所述的一种基于相似度计算的网页变更监测方法，其特征在于，步骤S9中，还包含与木马特征库进行匹配，若匹配到木马特征，则发出警告。

3.一种基于相似度计算的网页变更监测系统，其特征在于，包含以下模块：

初始采集模块：将网络中的网页内容通过使用网络爬虫存储至本地存储设备,计算网页内容的模糊哈希值；

判断模块：判断所述网页内容属于第一网页类型还是属于第二网页类型，并作出相应标记，第一网页类型为网页内容不会发生变化的网页，第二网页类型为网页内容会发生变化的网页；

实时采集模块：在设定的时间间隔后再次从网络中爬取所述网页内容，并计算此刻网页内容的模糊哈希值；

计算模块：计算实时采集模块中获得的模糊哈希值与初始采集模块中获得的模糊哈希值的相似度，相似度的取值范围为0-100；

网页判断模块：判断所述网页内容所属网页类型，若所述网页内容属于第 一网页类型，则转入第一判断模块；若所述网页内容属于第二网页类型，则转入第二判断模块；

第一判断模块：判断相似度的取值是否为100，是，则结束所述网页内容的监测；否，则转入第一警告模块；

第一警告模块:发出警告，结束所述网页内容的监测；

第二判断模块：判断相似度的取值是否为100，是，则转入第一终止模块；否，则转入差异分析模块；

第一终止模块：结束所述网页内容的监测；

差异分析模块：利用DIFF工具找出所述网页内容相比初始状态的差异；转入第三判断模块；

第三判断模块：判断差异是否由于图片变化引起，是，则转入第一匹配模块；否，则转入第二匹配模块；

第一匹配模块：将图片内容与恶意内容特征进行匹配，检测图片中是否有异常内容；是，则转入第二警告模块；否，则转入第二终止模块；

第二警告模块：发出警告，结束所述网页内容的监测；

第二终止模块：结束所述网页内容的监测；

第二匹配模块：与敏感词库进行匹配，若匹配到敏感词，则发出警告；

第三判断模块中调用图片识别算法对图片内容进行识别，判断差异是否由于图片变化引起，是，则转入第一匹配模块；否，则转入第二匹配模块。

4.根据权利要求3所述的一种基于相似度计算的网页变更监测系统，其特征在于，所述第二匹配模块还包含与木马特征库进行匹配，若匹配到木马特征，则发出警告。