[发明专利]一种用于抓取网站数据的方法与设备

摘要

本发明的目的是提供一种用于抓取网站数据的方法与设备。首先，根据所述网站拓扑结构信息，由当前根页面中的全部链接选择一个未访问链接，并获取其指向的下一层页面；接着，根据第一预定规则，判断所述下一层页面是否为目标信息页面；当所述下一层页面不为目标信息页面，则将所述下一层页面作为当前根页面，重复执行所述步骤a和b，直至满足第一预定条件；当判断所述下一层页面为目标信息页面时，抓取所述目标信息页面；当满足第二预定条件，将前一根页面作为当前根页面，重复执行所述步骤a、b、c1和c2。与现有技术相比，本发明采用深度优先遍历的方式，实现了抓取整个网站的目标数据，保证了对目标数据抓取的准确性，提高数据抓取的效率。

主权项

一种计算机实现的用于抓取网站数据的方法，该方法包括以下步骤：a根据所述网站拓扑结构信息，由当前根页面中的全部链接选择一个未访问链接，并获取其指向的下一层页面；b根据第一预定规则，判断所述下一层页面是否为目标信息页面；c1当所述下一层页面不为目标信息页面，则将所述下一层页面作为当前根页面，重复执行所述步骤a和b，直至满足第一预定条件；c2当判断所述下一层页面为目标信息页面时，抓取所述目标信息页面；其中，该方法还包括：‑当满足第二预定条件，将前一根页面作为当前根页面，重复执行所述步骤a、b、c1和c2；其中，所述步骤a包括：‑根据所述网站拓扑结构信息及预定分类列表，在所述当前根页面中的全部链接中进行查询，以获取与所述预定分类列表中的分类相匹配的一个或多个匹配链接；‑由所述一个或多个匹配链接中选择一个未访问链接，并获取其指向的下一层页面。