[发明专利]一种网页内容有分页的抓取方法

说明书

本发明涉及JAVA平台技术领域，特别涉及一种网页内容有分页的抓取方法。本发明的方法是首先查看当前待抓取页的URL是否带有分页数，如果没有，用开发人员工具进行解析，找出其查询参数与请求的URL，根据它们拼接出有分页数的URL；然后使用网络工具对其加载，获取Html信息内容，使用爬虫工具从中提取出总页数、当前页数等信息；接着以总页数为结束值，当前页数为开始值，循环，在循环体中使用循环变量替换掉URL中的分页数，生成每个分页的URL；最后使用网络工具对分页URL加载，使用爬虫工具对所需内容进行提取，把获得的数据保存到数据库中。本发明解决了有分页的网页其没展示的分页部分不能直接抓取的问题。

技术领域

本发明涉及JAVA平台技术领域，特别涉及一种网页内容有分页的抓取方法。

背景技术

在进行网页情报信息抓取时，经常会碰到很多待抓取的内容是有分页的，我们所能抓取的只有当前看到的那一页的数据，其它分页的数据是需要点击分页按钮才能加载出来的。假如分页有几千上万页，如果单靠手工点击按钮加载分页内容来进行抓取，这种行为是不可取的。为了解决这些问题，需要实现一种能模拟点击分页按钮来获取所有分页的URL以便抓取没有加载部分信息的功能。

发明内容

本发明解决的技术问题在于提供一种网页内容有分页的抓取方法；解决了有分页的网页其没展示的分页部分不能直接抓取的问题。

本发明解决上述技术问题的技术方案是：

首先查看当前待抓取页的URL是否带有分页数，如果没有，用开发人员工具进行解析，找出其查询参数与请求的URL，根据它们拼接出有分页数的URL；然后使用网络工具对其加载，获取Html信息内容，使用爬虫工具从中提取出总页数、当前页数等信息；接着以总页数为结束值，当前页数为开始值，循环，在循环体中使用循环变量替换掉URL中的分页数，生成每个分页的URL；最后使用网络工具对分页URL加载，使用爬虫工具对所需内容进行提取，把获得的数据保存到数据库中。从而解决了有分页的网页其没展示的分页部分不能直接抓取的问题。

所述的方法具体包括如下步骤：

步骤一、查看当前待抓取页的URL是否带有分页数，如果没有，用开发人员工具进行解析，找出其查询参数与请求的URL，根据它们拼接出有分页数的URL；

步骤二、使用网络工具对其加载，获取Html信息内容；

步骤三、使用爬虫工具从中提取出总页数、当前页数等信息；

步骤四、以总页数为结束值，当前页数为开始值，循环，在循环体中使用循环变量替换掉URL中的分页数，生成每个分页的URL；

步骤五、使用网络工具对分页URL加载，获取分页Html信息；

步骤六、使用爬虫工具对所需内容进行提取，把获得的数据保存到数据库中。

本发明的有益效果：首先查看当前待抓取页的URL是否带有分页数，如果没有，用开发人员工具进行解析，找出其查询参数与请求的URL，根据它们拼接出有分页数的URL；然后使用网络工具对其加载，获取Html信息内容，使用爬虫工具从中提取出总页数、当前页数等信息；接着以总页数为结束值，当前页数为开始值，循环，在循环体中使用循环变量替换掉URL中的分页数，生成每个分页的URL；最后使用网络工具对分页URL加载，使用爬虫工具对所需内容进行提取，把获得的数据保存到数据库中，从而达到把有分页的网页的内容全部抓取的目的。有效解决了有分页的网页其没展示的分页部分不能直接抓取的问题。

附图说明

下面结合附图对本发明进一步说明：

图1为本发明的流程图。

具体实施方式

如图1所示，本发明采用如下步骤：