[发明专利]一种测试网络爬虫的方法及系统

权利要求书

1.一种测试网络爬虫的方法，其特征在于，包括：

第一服务器配置预设数量的顶级域名，并将所述顶级域名设置为指向第二服务器的IP地址；

网络爬虫服务器读取所述顶级域名并根据所述顶级域名扩展出海量域名；

网络爬虫服务器将存储的DNS服务器地址设置为所述第一服务器的地址；

网络爬虫服务器遍历所述海量域名，并针对每个域名向第一服务器发起所述域名到第二服务器IP地址的转换请求；

网络爬虫服务器接收第一服务器发来的根据所述域名转换的第二服务器IP地址，并根据所述第二服务器的IP地址对第二服务器发起抓取请求；

第二服务器选取网站，并将所述网站提供给网络爬虫服务器抓取；其中，所述第二服务器选取的网站为经过内容填充的网站模板。

2.一种测试网络爬虫的方法，其特征在于，包括：

网络爬虫服务器建立海量域名，并将所述海量域名设置为指向第二服务器的IP地址；

网络爬虫服务器遍历所述海量域名，并针对每个域名对第二服务器发起抓取请求；

第二服务器选取网站，并将所述网站提供给网络爬虫服务器抓取；其中，所述第二服务器选取的网站为经过内容填充的网站模板。

3.如权利要求2所述的一种测试网络爬虫的方法，其特征在于，所述第二服务器选取预先建立的网站模板并对所述选取的网站模板填充内容后提供给网络爬虫服务器抓取具体包括：

第二服务器在预先建立的至少两套网站模板中按预设条件调用其中的一套网站模板；

第二服务器将所述调用的网站模板填充内容后提供给网络爬虫服务器抓取。

4.如权利要求1或2所述的一种测试网络爬虫的方法，其特征在于，所述第二服务器选取网站，并将所述网站提供给网络爬虫服务器抓取具体包括：

第二服务器在预先建立的海量网站中按预设条件调用其中的一套网站，并将所述调用的网站提供给网络爬虫服务器抓取。

5.一种测试网络爬虫的方法，其特征在于，包括：

网络爬虫服务器读取由第一服务器配置的预设数量的顶级域名并根据所述顶级域名扩展出海量域名；

网络爬虫服务器将存储的DNS服务器地址设置为所述第一服务器的地址；

网络爬虫服务器遍历所述海量域名，并针对每个域名向第一服务器发起所述域名到第二服务器IP地址的转换请求；

网络爬虫服务器接收第一服务器发来的根据所述域名转换的第二服务器IP地址，并根据所述第二服务器的IP地址对第二服务器发起抓取请求；

网络爬虫服务器对第二服务器选取的网站进行抓取；其中，所述第二服务器选取的网站为经过内容填充的网站模板。

6.一种测试网络爬虫的方法，其特征在于，包括：

网络爬虫服务器建立海量域名，并将所述海量域名设置为指向第二服务器的IP地址；

网络爬虫服务器遍历所述海量域名，并针对每个域名对第二服务器发起抓取请求；

网络爬虫服务器对第二服务器选取的网站进行抓取；其中，所述第二服务器选取的网站为经过内容填充的网站模板。

7.一种测试网络爬虫的方法，其特征在于，包括：

第二服务器接收网络爬虫服务器发来的网站抓取请求；其中，所述网站抓取请求与顶级域名扩展出的海量域名相对应；

第二服务器选取预先建立的网站模板并对所述选取的网站模板填充内容后提供给网络爬虫服务器抓取。

8.如权利要求7所述的一种测试网络爬虫的方法，其特征在于，所述第二服务器选取预先建立的网站模板并对所述选取的网站模板填充内容后提供给网络爬虫服务器抓取具体包括：

第二服务器在预先建立的至少两套网站模板中按预设条件调用其中的一套网站模板；

第二服务器将所述调用的网站模板填充内容后提供给网络爬虫服务器抓取。