[发明专利]一种web资产检测的方法、装置、设备及可读存储介质

权利要求书

1.一种web资产检测的方法，其特征在于，包括：

获取web资产库中目标资产内容的body信息，根据所述body信息生成所述目标资产的当前simhash值；

确定所述当前simhash值与所述目标资产的上一时间节点的simhash值的海明距离；

判断所述海明距离是否小于等于预设距离阈值；

若所述海明距离大于所述预设距离阈值，则判定所述目标资产的内容发生变更，并记录当前更新时间；

判断所述当前更新时间至上一更新时间的时间间隔是否大于预设时间阈值；

若所述时间间隔大于所述预设时间阈值，则将所述目标资产标记为僵尸站点。

2.如权利要求1所述的方法，其特征在于，所述获取web资产库中目标资产内容的body信息，根据所述body信息生成所述目标资产的当前simhash值包括：

利用爬虫技术获取所述目标资产内容的body信息，将所述body信息转换为多个加权特征向量；

利用hash算法确定每个加权特征向量对应的hash值；

将所述每个加权特征向量对应的hash值与权重进行组合，得到多个加权数串；

将所述多个加权数串进行合并，生成目标加权数组串，将所述目标加权数组串转换为hash值，得到所述目标资产的当前simhash值。

3.如权利要求2所述的方法，其特征在于，所述判断所述海明距离是否小于等于预设距离阈值后包括：

若所述海明距离小于等于3，则判定所述目标资产的内容未发生变更。

4.如权利要求1所述的方法，其特征在于，还包括：

计算所述web资产库中每两个资产的simhash值之间的海明距离，将所述web资产库中simhash值之间的海明距离小于等于所述预设距离阈值的两个资产标记为相似资产，并对所述相似资产进行去重处理。

5.如权利要求4所述的方法，其特征在于，所述计算所述web资产库中每两个资产的simhash值之间的海明距离，将所述web资产库中simhash值之间的海明距离小于等于所述预设距离阈值的两个资产标记为相似资产，并对所述相似资产进行去重处理包括：

将所述web资产库中simhash值的前16位相同的资产划分至同一资产小组；

计算每个资产小组中每两个资产的simhash值之间的海明距离，并将所述每个资产小组中simhash值之间的海明距离小于等于所述预设距离阈值的两个资产标记为相似资产，并对所述相似资产进行去重处理。

6.一种web资产检测的装置，其特征在于，包括：

Simhash值生成模块，用于获取web资产库中目标资产内容的body信息，根据所述body信息生成所述目标资产的当前simhash值；

海明距离获取模块，用于确定所述当前simhash值与所述目标资产的上一时间节点的simhash值的海明距离；

第一判断模块，用于判断所述海明距离是否小于等于预设距离阈值；

判定模块，用于若所述海明距离大于所述预设距离阈值，则判定所述目标资产的内容发生变更，并记录当前更新时间；

第二判断模块，用于判断所述当前更新时间至上一更新时间的时间间隔是否大于预设时间阈值；

标记模块，用于若所述时间间隔大于所述预设时间阈值，则将所述目标资产标记为僵尸站点。

7.如权利要求6所述的装置，其特征在于，所述Simhash值生成模块包括：

转换单元，用于利用爬虫技术获取所述目标资产内容的body信息，将所述body信息转换为多个加权特征向量；

确定单元，用于利用hash算法确定每个加权特征向量对应的hash值；

组合单元，用于将所述每个加权特征向量对应的hash值与权重进行组合，得到多个加权数串；

生成单元，用于将所述多个加权数串进行合并，生成目标加权数组串，将所述目标加权数组串转换为hash值，得到所述目标资产的当前simhash值。