[发明专利]一种访问速率自适应的互联网漏洞信息采集方法及系统

权利要求书

1.一种访问速率自适应的互联网漏洞关键信息采集方法，其特征在于，包括如下步骤：

S1：获取各个漏洞发布网站上每类漏洞的漏洞信息网页上各个目标关键信息的html标签信息；

其中，同一漏洞发布网站发布的同一类漏洞的漏洞信息网页使用相同的html标签信息；

S2：每个代理从漏洞发布网站的访问链接共享存储结构中提取url访问链接，并基于提取的url访问链接按照当前爬虫时间间隔进行爬虫得到所述url访问链接对应漏洞信息网页的html代码；

所述爬虫时间间隔表示相邻两次爬虫的时间间隔，其中，在每个代理完成每次爬虫后进行爬虫时间间隔更新，更新规律如下：

a：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟小于当前的爬虫时间间隔t₁时，将当前的爬虫时间间隔t₁减去预设延迟修正时间t₂作为更新的爬虫时间间隔t₁；

b：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟大于当前的爬虫时间间隔t₁时，将当前的爬虫时间间隔t₁的2倍作为更新的爬虫时间间隔t₁；

c：若当前爬虫网站返回的页面消息可以被解析且消息返回时间延迟等于当前的爬虫时间间隔t₁时，当前的爬虫时间间隔t₁保持不变；

其中，代理爬虫的方式为：模拟浏览器对提取的url访问链接发起http请求，并在获得返回消息后自动执行页面脚本得到html代码；

每个漏洞发布网站对应一个访问链接共享存储结构，所述访问链接共享存储结构中每个存储元素指向一个链表，链表的每个结点对应一个url访问链接；所述html代码表示漏洞信息网页的信息；

S3：利用相匹配的html标签信息对html代码进行正则式匹配提取漏洞信息网页上的目标关键信息以及提取漏洞信息网页中其他url访问链接；

其中，依据提取的其他url访问链接更新相匹配漏洞发布网站的访问链接共享存储结构；

其中，所述访问链接共享存储结构为哈希表，每个链表的结点包括一个url访问链接和url访问链接是否已被访问的访问标志位以及指向下个结点的指针，其中，将url访问链接更新至相匹配的漏洞发布网站的访问链接共享存储结构的过程如下：

首先，使用哈希函数对url访问链接的字符串进行散列计算得到所述url访问链接在哈希表中的位置索引，再通过求余运算计算出url访问链接在哈希表中的索引位置；

url_index＝url_hash％n

其中，url_index表示求余运算后url访问链接在哈希表中的索引位置，url_hash表示散列计算后url访问链接在哈希表中的位置索引，n为哈希表的长度；

其次，判断所述索引位置处的存储元素对应链表长度是否为0；

若是，则将url访问链接添加至所述索引位置处的链表中，并设置访问标志位以及链表长度；

若不是0，从链表头至链表尾依次进行匹配查找是否已存在所述url访问链接，若未查找到，则将所述url访问链接添加至链表尾部，并设置访问标志位以及链表长度；若存在，则不添加所述url访问链接。

2.根据权利要求1所述的方法，其特征在于：S2中每个代理从漏洞发布网站的访问链接共享存储结构中提取url访问链接的过程如下：

S21：随机生成一个随机整数，并进行取余操作得到访问链接共享存储结构中的索引位置；

p_index＝rd％n

式中，p_index表示取余操作后得到的索引位置，rd为随机整数；

S22：判断在访问链接共享存储结构中索引位置处的链表中是否存在未被访问的url访问链接；

其中，若存在，将按序提取第一个未被访问的url访问链接；

若不存在，更新索引位置，并重复S22直至查找到未被访问的url访问链接或者直至查找完所述漏洞发布网站的访问链接共享存储结构中每个链表；

索引位置的更新公式如下：

p_index＝p_index+1。

3.根据权利要求2所述的方法，其特征在于：当查找到未被访问的url访问链接时，在相应的链表结点添加互斥锁，并将访问标志位置为已被访问状态。