[发明专利]一种用于抓取网站数据的方法与设备

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种用于抓取网站数据的技术。

背景技术

现有技术中，从数据提供网站抓取数据一般需要针对每个网站单独执行一个脚本，但是当数据提供网站数量较多时，需要维护多套抓取脚本，因此脚本维护成本较高，数据抓取效率不高；同时，在数据提供网站设置分类信息后，在其服务器端会存有最后一次设置分类信息的cookie信息，但由于传统数据抓取一般采用广度优先的抓取方式，且在同一页面中更换分类信息时，该页面链接的统一资源定位符(URL)不会改变，使得在访问同一页面的每一分类信息链接后，可能抓取到的数据为cookie信息中记录的最后一次选择的分类信息，而非所期望抓取的每一分类信息对应的目标数据，数据抓取的准确性不高。

因此，如何实现网站数据的有效抓取，成为目前亟待解决的问题之一。

发明内容

本发明的目的是提供一种用于抓取网站数据的方法与设备。

根据本发明的一个方面，提供了一种计算机实现的用于抓取网站数据的方法，该方法包括以下步骤：

a根据所述网站拓扑结构信息，由当前根页面中的全部链接选择一个未访问链接，并获取其指向的下一层页面；

b根据第一预定规则，判断所述下一层页面是否为目标信息页面；

c1当所述下一层页面不为目标信息页面，则将所述下一层页面作为当前根页面，重复执行所述步骤a和b，直至满足第一预定条件；

c2当判断所述下一层页面为目标信息页面时，抓取所述目标信息页面；

其中，该方法还包括：

-当满足第二预定条件，将前一根页面作为当前根页面，重复执行所述步骤a、b、c1和c2。

根据本发明的另一方面，还提供了一种用于抓取网站数据的设备，该设备包括：

第一获取装置，用于根据所述网站拓扑结构信息，由当前根页面中的全部链接选择一个未访问链接，并获取其指向的下一层页面；

判断装置，用于根据第一预定规则，判断所述下一层页面是否为目标信息页面；

第一循环装置，用于当判断所述下一层页面不为目标信息页面，则将所述下一层页面作为当前根页面，重复执行所述第一获取装置与所述判断装置的操作，直至满足第一预定条件；

其中，该设备还包括：

第一抓取装置，用于当判断所述下一层页面为目标信息页面时，抓取所述目标信息页面；

其中，所述设备还包括：

第二循环装置，用于当满足第二预定条件，将前一根页面作为当前根页面，重复执行所述第一获取装置、所述判断装置、所述第一循环判断装置和所述第一抓取装置的操作。

与现有技术相比，本发明根据待抓取数据网站的网站拓扑结构信息，采用深度优先遍历的方式，实现了抓取整个网站的目标数据，从而降低了多脚本数据抓取的维护成本，并保证了对目标数据抓取的准确性，提高数据抓取的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的用于抓取网站数据的设备示意图；

图2示出根据本发明一个优选实施例的用于抓取网站数据的示例图；

图3出根据本发明另一优选实施例的用于抓取网站数据的设备示意图；

图4出根据本发明又一优选实施例的用于抓取网站数据的设备示意图；

图5示出根据本发明再一优选实施例的用于抓取网站数据的设备示意图；

图6示出根据本发明再一优选实施例的用于抓取网站数据的设备示意图；

图7示出根据本发明另一个方面的用于抓取网站数据的方法流程图；

图8出根据本发明另一优选实施例的用于抓取网站数据的方法流程图；

图9出根据本发明又一优选实施例的用于抓取网站数据的方法流程图；

图10示出根据本发明再一优选实施例的用于抓取网站数据的方法流程图；

图11示出根据本发明再一优选实施例的用于抓取网站数据的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的用于抓取网站数据的设备示意图。其中，抓取设备1包括第一获取装置111、判断装置112、第一循环装置113、第一抓取装置114及第二循环装置115。