[发明专利]一种访问速率自适应的互联网漏洞信息采集方法及系统

摘要

本发明公开了一种访问速率自适应的互联网漏洞关键信息采集方法及系统，该方法包括如下步骤：S1：获取每类漏洞的漏洞信息网页上各个目标关键信息的html标签信息；S2：每个代理从漏洞发布网站的访问链接共享存储结构中提取url访问链接，并基于提取的url访问链接按照当前爬虫时间间隔进行爬虫得到所述url访问链接对应漏洞信息网页的html代码，其中，根据访问的反馈消息自动调整爬虫时间间隔；S3：利用相匹配的html标签信息对html代码进行正则式匹配提取漏洞信息网页上的目标关键信息以及提取漏洞信息网页中其他url访问链接。上述方法克服了反爬虫防护策略，同时还保证了一定采集速率。

主权项

1.一种访问速率自适应的互联网漏洞关键信息采集方法，其特征在于，包括如下步骤：S1：获取各个漏洞发布网站上每类漏洞的漏洞信息网页上各个目标关键信息的html标签信息；其中，同一漏洞发布网站发布的同一类漏洞的漏洞信息网页使用相同的html标签信息；S2：每个代理从漏洞发布网站的访问链接共享存储结构中提取url访问链接，并基于提取的url访问链接按照当前爬虫时间间隔进行爬虫得到所述url访问链接对应漏洞信息网页的html代码；所述爬虫时间间隔表示相邻两次爬虫的时间间隔，其中，在每个代理完成每次爬虫后进行爬虫时间间隔更新，更新规律如下：a：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟小于当前的爬虫时间间隔t1时，将当前的爬虫时间间隔t1减去预设延迟修正时间t2作为更新的爬虫时间间隔t1；b：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟大于当前的爬虫时间间隔t1时，将当前的爬虫时间间隔t1的2倍作为更新的爬虫时间间隔t1；c：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟等于当前的爬虫时间间隔t1时，当前的爬虫时间间隔t1保持不变；其中，代理爬虫的方式为：模拟浏览器对提取的url访问链接发起http请求，并在获得返回消息后自动执行页面脚本得到html代码；每个漏洞发布网站对应一个访问链接共享存储结构，所述访问链接共享存储结构中每个存储元素指向一个链表，链表的每个结点对应一个url访问链接；所述html代码表示漏洞信息网页的信息；S3：利用相匹配的html标签信息对html代码进行正则式匹配提取漏洞信息网页上的目标关键信息以及提取漏洞信息网页中其他url访问链接；其中，依据提取的其他url访问链接更新相匹配漏洞发布网站的访问链接共享存储结构。