[发明专利]自演进的网络自适应爬虫方法及系统

权利要求书

1.一种自演进的网络自适应爬虫方法，其特征在于，包括：

步骤1：接收采集任务以及目标网站的IP地址或域名，当接收的为IP地址时直接进入步骤4，当接收的为域名时则根据域名查询对应的域名IP列表是否存在于自建的DNS系统的记录中，记录若存在，则查询记录是否超时，若未超时，则进入步骤4；若记录不存在或记录超时，则进入步骤2；

步骤2：查询目标网站的域名对外提供服务的所有IP地址；

步骤3：探测查询到的IP地址是否有效，将有效的IP地址生成与目标网站对应的域名IP列表，并更新至自建的DNS系统；

步骤4：探测并保存与目标网站对应的IP地址的网络环境或引用在预设期限内的之前任务所探测对应的网络探测结果，并基于域名IP列表结合IP地址的网络探测结果进行负荷分担，分配爬虫的采集任务；

步骤5：根据机器学习的规则知识库预测对应的采集模型，并根据采集模型设置爬虫的参数值，采集目标网站的数据。

2.如权利要求1所述的自演进的网络自适应爬虫方法，其特征在于，所述步骤1之前还包括：

构建DNS系统步骤：记录多个预设的域名IP列表，构建DNS系统并保存于本地数据库中，所述域名IP列表包括预设网站的域名及与域名对应的多个IP地址。

3.如权利要求1所述的自演进的网络自适应爬虫方法，其特征在于，所述步骤2之前还包括：

定时更新步骤：定时触发更新任务，获取Domain/IP数据库中的Hot域名列表，Domain/IP数据库存储有域名与IP列表直接的对应关系。

4.如权利要求1所述的自演进的网络自适应爬虫方法，其特征在于，所述步骤5之前还包括：

机器学习步骤：根据预设的参数采用预设的机器学习算法构建规则模型并构建对应的规则知识库。

5.如权利要求4所述的自演进的网络自适应爬虫方法，其特征在于，所述步骤5之后还包括：

训练模型步骤：记录爬虫采集成功或失败的结果并提取对应采集结果的参数；将结果及参数反馈至机器学习引擎训练机器学习的规则模型，训练完成后保存至规则知识库。

6.一种自演进的网络自适应爬虫系统，其特征在于，包括：

采集模块：接收采集任务以及目标网站的IP地址或域名，当接收的为IP地址时，探测IP地址的网络环境或引用在预设期限内的之前任务所探测对应的网络探测结果，并结合IP地址的网络探测结果进行负荷分担，分配爬虫的采集任务；当接收的为域名时则根据域名查询对应的域名IP列表是否存在于自建的DNS系统的记录中，记录若存在，则查询记录是否超时，若未超时，则探测对应的域名IP列表内IP地址的网络环境或引用在预设期限内的之前任务所探测对应的网络探测结果，并基于域名IP列表结合IP地址的网络探测结果进行负荷分担，分配爬虫的采集任务；若记录不存在或记录超时，则查询目标网站的域名对外提供服务的所有IP地址，并探测查询到的IP地址是否有效，将有效的IP地址生成与目标网站对应的域名IP列表，并更新至自建的DNS系统，再探测对应的域名IP列表内各IP地址的网络环境或引用在预设期限内的之前任务所探测对应的网络探测结果，基于域名IP列表并结合IP地址的网络探测结果进行负荷分担，分配爬虫的采集任务；根据机器学习的规则知识库预测对应的采集模型，并根据采集模型设置爬虫的参数值，采集目标网站的数据。

7.如权利要求6所述的自演进的网络自适应爬虫系统，其特征在于，还包括：

构建DNS系统模块：记录多个预设的域名IP列表，构建DNS系统并保存于本地数据库中，所述域名IP列表包括预设网站的域名及与域名对应的多个IP地址。

8.如权利要求6所述的自演进的网络自适应爬虫系统，其特征在于，还包括：

定时更新模块：定时触发更新任务，获取Domain/IP数据库中的Hot域名列表，Domain/IP数据库存储有域名与IP列表直接的对应关系。

9.如权利要求6所述的自演进的网络自适应爬虫系统，其特征在于，还包括：

机器学习模块：根据预设的参数采用预设的机器学习算法构建规则模型并构建对应的规则知识库。

10.如权利要求9所述的自演进的网络自适应爬虫系统，其特征在于，还包括：

训练模型模块：记录爬虫采集成功或失败的结果并提取对应采集结果的参数；将结果及参数反馈至机器学习引擎训练机器学习的规则模型，训练完成后保存至规则知识库。