[发明专利]网页收集的方法及其系统

权利要求书

1.一种网页收集的方法，其特征在于，包括：

从URL数据库中逐条获取URL，并根据URL获得对应的主机host名；

根据所述host名，进行域名服务系统DNS请求，对DNS请求的结果进行管理，所述管理包括将请求成功的DNS请求结果保存在DNS数据库中；

进行域名服务系统DNS请求的同时，根据所述DNS数据库中DNS请求成功的URL，进行页面获取。

2.根据权利要求1所述的网页收集的方法，其特征在于，根据所述host名，进行DNS请求之前还包括：

DNS请求控制台判断所述host名是否成功进行了DNS请求，如果是，则将请求成功的DNS请求所对应的URL发送至网页获取处理装置；如果否，则根据所述host名进行DNS请求。

3.根据权利要求1所述的网页收集的方法，其特征在于，根据所述host名，进行DNS请求之后还包括：

存储请求成功的DNS请求结果。

4.根据权利要求1所述的网页收集的方法，其特征在于，根据所述host名，进行DNS请求具体包括：

DNS请求控制台分配DNS请求任务给DNS子元件主机；

DNS子元件主机进行DNS请求；

DNS结果处理单元对DNS请求的结果进行分析和管理。

5.根据权利要求4所述的网页收集的方法，其特征在于，DNS请求控制台分配DNS请求任务给DNS子元件主机具体包括：

根据DNS子元件主机的系统资源占用率分配DNS请求任务；或者

对所述host名的hash值进行取余运算，根据运算结果分配DNS请求任务。

6.根据权利要求4所述的网页收集的方法，其特征在于，DNS结果处理单元对DNS请求的结果进行分析和管理具体为：

分析各个DNS子元件主机返回的结果，请求成功的DNS请求结果保存在DNS数据库中，将DNS请求失败的host名发送给DNS错误管理单元进行处理。

7.根据权利要求1所述的网页收集的方法，其特征在于，根据DNS请求成功的URL，进行页面获取具体包括：

网页获取控制台根据所述host名在所述DNS数据库中查询URL对应的DNS结果；

网页获取控制台将host名和查询得到的URL对应的DNS结果分配至网页获取子元件主机；

网页获取子元件主机获取页面HTML代码。

8.根据权利要求7所述的网页收集的方法，其特征在于，如果网页获取控制台根据所述host名未查询到URL对应的DNS结果，则将所述URL返回URL队列，将所述URL的host名发送给DNS过期管理单元，重新请求DNS服务器获取DNS结果。

9.根据权利要求7所述的网页收集的方法，其特征在于，网页获取控制台将URL和查询得到的host名对应的DNS结果分配至网页获取子元件主机具体包括：

根据网页获取子元件主机的系统资源占用率分配URL和对应的DNS结果；或者

对所述URL的哈希hash值进行取余运算，根据运算结果分配URL和对应的DNS结果。

10.根据权利要求7所述的网页收集的方法，其特征在于，所述网页获取子元件主机获取页面HTML代码后还包括：

HTML代码保存单元保存HTML代码；

HTML解析单元解析HTML代码，并提取URL；

URL数据库保存提取出的URL信息。

11.一种网页收集的系统，其特征在于，包括：

URL输入控制台，用于从URL数据库中逐条获取URL，并根据URL解析对应的host名；

DNS请求处理装置，用于根据所述host名，进行DNS请求，对DNS请求的结果进行管理，所述管理包括将请求成功的DNS请求结果保存在DNS数据库中，并发送所述DNS数据库中请求成功的DNS请求的URL；

网页获取处理装置，用于在所述DNS请求处理装置进行DNS请求的同时，根据从DNS请求处理装置接收到的DNS请求成功的URL，进行页面获取。