[发明专利]一种访问速率自适应的互联网漏洞信息采集方法及系统

说明书

本发明公开了一种访问速率自适应的互联网漏洞关键信息采集方法及系统，该方法包括如下步骤：S1：获取每类漏洞的漏洞信息网页上各个目标关键信息的html标签信息；S2：每个代理从漏洞发布网站的访问链接共享存储结构中提取url访问链接，并基于提取的url访问链接按照当前爬虫时间间隔进行爬虫得到所述url访问链接对应漏洞信息网页的html代码，其中，根据访问的反馈消息自动调整爬虫时间间隔；S3：利用相匹配的html标签信息对html代码进行正则式匹配提取漏洞信息网页上的目标关键信息以及提取漏洞信息网页中其他url访问链接。上述方法克服了反爬虫防护策略，同时还保证了一定采集速率。

技术领域

本发明属于网络安全技术领域，具体涉及一种访问速率自适应的互联网漏洞信息采集方法及系统。

背景技术

随着《中华人民共和国网络安全法》的实施，构建坚强关键信息基础设施安全防护体系是大型能源，金融和电信等企业的网络安全工作主要工作目标。由于黑客技术的不断发展，流行漏洞层出不穷，对于企业信息安全防护工作带来巨大挑战。跟踪和掌握最新的流行漏洞情况和反制措施成为信息安全人员必须具备的技能。当前，国内外权威漏洞发布网站会发布最新的流行漏洞情报信息，如果使用手动收集的方式，工作量大，时效性差，不能及时对信息系统存在的安全隐患进行响应。利用网络爬虫技术可以自动采集安全网站发布的漏洞信息，但很多安全网站采用了反爬虫防护策略，简单地使用网络爬虫技术会造成采集工具无法解析网页内容或者被相关网站限制访问。现有的反爬虫防护策略主要通过页面动态加载和访问频率限制。其中，页面动态加载通过Javascript计算或Ajax加载才能得到最终的页面数据，普通的爬虫无法直接获得需要的数据；访问频率限制主要通过限制外部IP地址短时多次地对网站的访问。

发明内容

本发明的目的是提供一种访问速率自适应的互联网漏洞信息采集方法及系统，利用爬虫和代理技术模拟用户访问网站的行为，以及根据网站的反馈信息自动调整访问页面的频率，既克服了针对页面动态反爬虫策略，同时还克服了访问频率限制的反爬虫防护策略，且本发明在绕过网站的反爬虫限制的基础上还保证一定采集速率。

本发明提供一种访问速率自适应的互联网漏洞信息采集方法，包括如下步骤：

S1：获取各个漏洞发布网站上每类漏洞的漏洞信息网页上各个目标关键信息的html标签信息；

其中，同一漏洞发布网站发布的同一类漏洞的漏洞信息网页使用相同的html标签信息；

S2：每个代理从漏洞发布网站的访问链接共享存储结构中提取url访问链接，并基于提取的url访问链接按照当前爬虫时间间隔进行爬虫得到所述url访问链接对应漏洞信息网页的html代码；

所述爬虫时间间隔表示相邻两次爬虫的时间间隔，其中，在每个代理完成每次爬虫后进行爬虫时间间隔更新，更新规律如下：

a：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟小于当前的爬虫时间间隔t₁时，将当前的爬虫时间间隔t₁减去预设延迟修正时间t₂作为更新的爬虫时间间隔t₁；

b：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟大于当前的爬虫时间间隔t₁时，将当前的爬虫时间间隔t₁的2倍作为更新的爬虫时间间隔t₁；

c：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟等于当前的爬虫时间间隔t₁时，当前的爬虫时间间隔t₁保持不变；

其中，代理爬虫的方式为：模拟浏览器对提取的url访问链接发起http请求，并在获得返回消息后自动执行页面脚本得到html代码；