[发明专利]网页爬取的配置方法、应用服务器及计算机可读存储介质

权利要求书

1.一种网页爬取的配置方法，应用于应用服务器，其特征在于，所述方法包括步骤：

接收用户输入的爬取网址；

设置爬取信息类型，其中，所述爬取信息类型包括文字、html、多媒体及照片中的至少一种或者多种；

设置爬取任务处理节点；

从所述爬取网址的网页上的链接转入所述爬取任务处理节点；及

在所述爬取任务处理节点上依据所述爬取信息类型爬取相应信息。

2.如权利要求1所述的网页爬取的配置方法，其特征在于，所述接收用户输入的爬取网址的步骤，还包括：

建立关键文字信息与所述爬取网址的关联信息；

接收用户输入的关键文字信息；及

通过所述关键文字信息与所述关联信息获取所述关键文字信息对应的网址。

3.如权利要求1所述的网页爬取的配置方法，其特征在于，所述设置爬取任务处理节点的步骤，包括：

设置所述爬取网址代表的网站的访问层数，并根据所述爬取任务处理节点进行网页爬取。

4.如权利要求1所述的网页爬取的配置方法，其特征在于，所述方法还包括步骤：

设置爬取用途信息；及

根据所述爬取用途信息设定相应的存储空间。

5.如权利要求4所述的网页爬取的配置方法，其特征在于，在所述爬取任务处理节点上依据所述爬取信息类型爬取相应信息的步骤之后，所述方法还包括步骤：

将所述相应信息存储至所述存储空间。

6.一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的网页爬取的配置程序，所述网页爬取的配置程序被所述处理器执行时实现如下步骤：

接收用户输入的爬取网址；

设置爬取信息类型，其中，所述爬取信息类型包括文字、html、多媒体及照片中的至少一种或者多种；

设置爬取任务处理节点；

从所述爬取网址的网页上的链接转入所述爬取任务处理节点；及

在所述爬取任务处理节点上依据所述爬取信息类型爬取相应信息。

7.如权利要求6所述的应用服务器，其特征在于，所述接收用户输入的爬取网址的步骤，包括：

建立关键文字信息与所述爬取网址的关联信息；

接收用户输入的关键文字信息；及

通过所述关键文字信息与所述关联信息获取所述关键文字信息对应的网址。

8.如权利要求6所述的应用服务器，其特征在于，所述设置爬取任务处理节点的步骤，包括：

设置所述爬取网址代表的网站的访问层数，并根据所述爬取任务处理节点进行网页爬取。

9.如权利要求6所述的应用服务器，其特征在于，所述网页爬取的配置程序被所述处理器执行时，还实现如下步骤：

设置爬取用途信息；及

根据所述爬取用途信息设定相应的存储空间；及

在所述爬取任务处理节点上依据所述爬取信息类型爬取相应信息的步骤之后，将所述相应信息存储至所述存储空间。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有网页爬取的配置程序，所述网页爬取的配置程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的网页爬取的配置方法的步骤。