[发明专利]网页抓取方法及爬虫

权利要求书

1.一种网页抓取方法，包括如下步骤：

将种子URL注入到Web数据库中；

基于Web数据库生成URL列表；

按队列的顺序将URL列表中的URL馈送给网页抓取器；

由网页抓取器、按照网页对应的访问模式、根据被馈送的URL来对网页进行抓取；以及

基于所抓取的网页，更新Web数据库中URL的状态以及注入新发现的URL；

其中，所述访问模式包括请求参数槽、响应参数槽、以及请求参数槽与响应参数槽的对应关系，请求参数槽中包括请求参数、以及请求参数槽与响应参数槽的匹配关系，响应参数槽中包括响应参数、以及关于响应参数在http响应消息中的提取位置的提取位置信息。

2.如权利要求1所述的网页抓取方法，其中，队列包括普通队列和优先队列，基于会话的网页的URL被存储在优先队列中，以具有较高的优先权。

3.如权利要求1所述的网页抓取方法，其中，在起始网页的网址满足预定的触发条件时，触发相应的访问模式来进行网页的抓取。

4.如权利要求2所述的网页抓取方法，其中，所述按照网页对应的访问模式进行抓取包括：

根据请求参数槽与响应参数槽的匹配关系，将与其匹配的响应参数槽中的响应参数，填充到请求参数槽中作为请求参数；以及

根据对应于同一请求的一个或更多个请求参数槽中的请求参数，生成请求消息并将其加入优先队列，以由网页抓取器优先抓取。

5.如权利要求4所述的网页抓取方法，其中，所述按照网页对应的访问模式进行抓取还包括：

发送请求消息，以得到对应的响应消息；

根据请求参数槽与响应参数槽的对应关系，找到对应的响应参数槽；以及

按照所述响应参数槽中的提取位置信息，从所得到的响应消息中提取响应参数，并将所提取的响应参数填充到该响应参数槽中。

6.如权利要求1所述的网页抓取方法，其中，所述访问模式是通过如下步骤获得的：

收集与网页的访问相关的http消息流；以及

从所收集的http消息流中，根据起始网页的http响应消息和目标http请求消息，确定与目标http请求消息相关的访问模式。

7.如权利要求6所述的网页抓取方法，其中，所述确定步骤包括：

从与目标http请求消息所对应的请求参数槽开始，搜索与所述请求参数槽匹配的响应参数槽以及与所述响应参数槽对应的请求参数槽，直至所搜索到的响应参数槽对应于起始网页的http响应消息，从而得到连接对应于起始网页的http响应消息的响应参数槽与对应于目标http请求消息的请求参数槽的路径；以及

验证所得到的路径，以得到访问模式。

8.一种爬虫，用于抓取网页，包括：

URL注入器，被配置为将种子URL注入到Web数据库中；

URL生成器，被配置为基于Web数据库生成URL列表；

URL馈送器，被配置为按队列的顺序将URL列表中的URL馈送给网页抓取器；

网页抓取器，被配置为按照网页对应的访问模式、根据被馈送的URL来对网页进行抓取；以及

Web数据库更新器，被配置为基于所抓取的网页，更新Web数据库中URL的状态以及注入新发现的URL；

其中，所述访问模式包括请求参数槽、响应参数槽、以及请求参数槽与响应参数槽的对应关系，请求参数槽中包括请求参数、以及请求参数槽与响应参数槽的匹配关系，响应参数槽中包括响应参数、以及关于响应参数在ht tp响应消息中的提取位置的提取位置信息。

9.如权利要求8所述的爬虫，其中，所述网页抓取器被进一步配置为：

根据请求参数槽与响应参数槽的匹配关系，将与其匹配的响应参数槽中的响应参数，填充到请求参数槽中作为请求参数；以及

根据对应于同一请求的一个或更多个请求参数槽中的请求参数，生成请求消息并将其加入所述队列中的优先队列，以由网页抓取器优先抓取。

10.如权利要求9所述的爬虫，其中，所述网页抓取器被进一步配置为：

发送请求消息，以得到对应的响应消息；

根据请求参数槽与响应参数槽的对应关系，找到对应的响应参数槽；以及

按照所述响应参数槽中的提取位置信息，从所得到的响应消息中提取响应参数，并将所提取的响应参数填充到该响应参数槽中。