[发明专利]一种用于抓取网站数据的方法与设备

权利要求书

1.一种计算机实现的用于抓取网站数据的方法，该方法包括以下步骤：

a根据所述网站拓扑结构信息，由当前根页面中的全部链接选择一个未访问链接，并获取其指向的下一层页面；

b根据第一预定规则，判断所述下一层页面是否为目标信息页面；

c1当所述下一层页面不为目标信息页面，则将所述下一层页面作为当前根页面，重复执行所述步骤a和b，直至满足第一预定条件；

c2当判断所述下一层页面为目标信息页面时，抓取所述目标信息页面；

其中，该方法还包括：

-当满足第二预定条件，将前一根页面作为当前根页面，重复执行所述步骤a、b、c1和c2；

其中，所述步骤a包括：

-根据所述网站拓扑结构信息及预定分类列表，在所述当前根页面中的全部链接中进行查询，以获取与所述预定分类列表中的分类相匹配的一个或多个匹配链接；

-由所述一个或多个匹配链接中选择一个未访问链接，并获取其指向的下一层页面。

2.根据权利要求1所述的方法，其中，所述方法还包括：

y根据第二预定规则，由所述目标信息页面的全部链接中确定并抓取目标下载链接。

3.根据权利要求2所述的方法，其中，所述步骤y包括：

-根据第二预定规则，从所述目标信息页面包含的全部链接中确定待确定下载链接；

-根据所述待确定下载链接对应的下载数据包，由所述待确定下载链接中确定并抓取所述目标下载链接。

4.根据权利要求1至3中任一项所述的方法，其中，所述步骤c2包括：

-当判断所述下一层页面为目标信息页面时，将其与已抓取页面信息中进行比较；

-当该下一层页面不存在于所述已抓取页面信息中时，将其抓取为所述目标信息页面。

5.根据权利要求4所述的方法，其中，该方法还包括：

-根据已抓取的所述目标信息页面，保存或更新所述已抓取页面信息。

6.一种用于抓取网站数据的设备，该设备包括：

第一获取装置，用于根据所述网站拓扑结构信息，由当前根页面中的全部链接选择一个未访问链接，并获取其指向的下一层页面；

判断装置，用于根据第一预定规则，判断所述下一层页面是否为目标信息页面；

第一循环装置，用于当判断所述下一层页面不为目标信息页面，则将所述下一层页面作为当前根页面，重复执行所述第一获取装置与所述判断装置的操作，直至满足第一预定条件；

其中，该设备还包括：

第一抓取装置，用于当判断所述下一层页面为目标信息页面时，抓取所述目标信息页面；

其中，所述设备还包括：

第二循环装置，用于当满足第二预定条件，将前一根页面作为当前根页面，重复执行所述第一获取装置、所述判断装置、所述第一循环判断装置和所述第一抓取装置的操作；

其中，所述第一获取装置包括：

第二获取单元，用于根据所述网站拓扑结构信息及预定分类列表，在所述当前根页面中的全部链接中进行查询，以获取与所述预定分类列表中的分类相匹配的一个或多个匹配链接；

第三获取单元，用于由所述一个或多个匹配链接中选择一个未访问链接，并获取其指向的下一层页面。

7.根据权利要求6所述的设备，其中，所述设备还包括：

第二抓取装置，用于根据第二预定规则，由所述目标信息页面的全部链接中确定并抓取目标下载链接。

8.根据权利要求7所述的设备，其中，所述第二抓取装置包括：

链接确定单元，用于根据第二预定规则，从所述目标信息页面包含的全部链接中确定待确定下载链接；

第三抓取单元，用于根据所述待确定下载链接对应的下载数据包，由所述待确定下载链接中确定并抓取所述目标下载链接。

9.根据权利要求6至8中任一项所述的设备，其中，所述第一抓取设备包括：

比较单元，用于当判断所述下一层页面为目标信息页面时，将其与已抓取页面信息中进行比较；

第三抓取单元，用于当该下一层页面不存在于所述已抓取页面信息中时，将其抓取为所述目标信息页面。

10.根据权利要求9所述的设备，其中，该设备还包括：

更新装置，用于根据已抓取的所述目标信息页面，保存或更新所述已抓取页面信息。