[发明专利]一种基于网络爬虫的网站指纹信息扫描的方法及装置

说明书

本发明公开了一种基于网络爬虫的网站指纹信息扫描方法、装置、设备及计算机可读存储介质，该方法包括：获取构建网站所需的多个元素类，记录各个元素类下各个元素具有的与任一或任多预设特征元素对应的特征值，且记录的不同元素对应同一预设特征元素的特征值不同，预设特征元素包括响应头特征、引入js特征、script特征、html特征及所属元素类；利用网络爬虫爬取目标网站的内容，得到目标网站与任一或任多预设特征元素对应的特征值，将得到的特征值与记录的特征值进行比对，得到包含有与目标网站的特征值匹配的记录的特征值的网站指纹信息。从而实现指纹获取的较高准确性及实现效率。

技术领域

本发明涉及网络安全技术领域，更具体地说，涉及一种基于网络爬虫的网站指纹信息扫描的方法、装置、设备及计算机可读存储介质。

背景技术

为网站生成对应的识别度较高的网站指纹，对于网络安全具有重大意义。现有技术中用于实现网站指纹生成的技术方案为依据预先设置的组件模板库中存储的网站服务器模板，构建对应的组件虚拟网站；按照预先设置的策略访问所述组件虚拟网站中用于组件版本升级的链接地址，如果所述链接地址对应的组件服务器中有新的组件版本，升级所述组件虚拟网站中的组件；访问升级后的所述组件虚拟网站，从返回的访问请求响应中提取特征信息；查询并获取预先存储的所述组件虚拟网站的当前组件版本指纹，得到所述当前组件版本指纹对应的历史特征信息，依据提取的特征信息以及所述历史特征信息生成所述组件虚拟网站的组件版本升级指纹。

现有技术需要根据组件模板库构造新的虚拟网站，然后提取特征信息，对目标网站是一个模仿而非真实复制，现阶段通常目标网站内容是经常发生变化的，如果构造的虚拟网站不能完全反应原目标网站的特征，则会造成网站指纹的不准确甚至误报，且本身该过程是一个较耗时的多步操作，使用效率不高。

综上所述，现有技术中用于实现网站指纹获取的方案存在准确性较低且使用效率较低的问题。

发明内容

本发明的目的是提供一种基于网络爬虫的网站指纹信息扫描的方法、装置、设备及计算机可读存储介质，能够解决现有技术中用于实现网站指纹获取的方案存在的准确性较低且使用效率较低的问题。

为了实现上述目的，本发明提供如下技术方案：

一种基于网络爬虫的网站指纹信息扫描方法，包括：

获取构建网站所需的多个元素类，所述元素类包括操作系统、编程语言、网页服务器、网页应用框架、脚本语言框架及内容管理系统；

记录各个元素类下各个元素具有的与任一或任多预设特征元素对应的特征值，且记录的不同元素对应同一预设特征元素的特征值不同，所述预设特征元素包括响应头特征、引入js特征、script特征、html特征及所属元素类；

利用网络爬虫爬取目标网站的内容，得到所述目标网站与任一或任多预设特征元素对应的特征值，将得到的特征值与记录的特征值进行比对，得到包含有与所述目标网站的特征值匹配的记录的特征值的网站指纹信息。

优选的，记录各个元素类下各个元素具有的与任一或任多预设特征元素对应的特征值，包括：

如果各个元素类下各个元素具有的任一特征值引用预设基础特征，则记录该任一特征值时同时记录引用的预设基础特征的名称。

优选的，记录各个元素类下各个元素具有的与任一或任多预设特征元素对应的特征值之后，还包括：

将记录的特征值构造成格式相同的json字符。

优选的，记录各个元素类下各个元素具有的与任一或任多预设特征元素对应的特征值，包括：

在预先设定的特征模板库中记录各个元素类下各个元素具有的与任一或任多预设特征元素对应的特征值。

优选的，得到网站指纹信息之后，还包括：