[发明专利]爬取动态网页的方法及装置

说明书

技术领域

本发明涉及互联网技术领域，特别是涉及一种爬取动态网页的方法及装置。

背景技术

网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。传统的爬虫策略是从一个或若干初始网页的URL(Uniform Resource Locator，统一资源定位符)开始，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件才停止。通俗的讲，也就是通过源码解析来获得想要的内容。但是，由于只有静态网页中的内容全部记录在网页源码中，而动态网页中的内容并不全部记录在网页源码中，所以现有的这种爬取网页内容的方式无法获取网站中的所有内容，从而使得爬虫爬取网站信息的完整性降低。

发明内容

有鉴于此，本发明提供的爬取动态网页的方法及装置，能够爬取动态网页中的动态数据。

本发明的目的是采用以下技术方案来实现的：

一方面，本发明提供了一种爬取动态网页的方法，所述方法包括：

在获取需要爬取的网页的统一资源定位符URL之后，利用无界面浏览器爬取获取的URL的网页内容；

利用解析引擎对爬取的网页内容进行解析；

若所述网页内容中含有触发加载动态数据的特征信息，则通过所述无界面浏览器的模拟点击事件接口触发所述特征信息对应的点击事件；

爬取所述点击事件产生的动态数据。

可选的，在爬取所述点击事件产生的动态数据之后，所述方法还包括：

利用解析引擎对所述动态数据进行解析；

若所述动态数据中含有特征信息，则继续通过所述模拟点击事件接口触发所述特征信息对应的点击事件。

可选的，在利用解析引擎对爬取的网页内容进行解析之后，所述方法还包括：

将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储；

在利用解析引擎对所述动态数据进行解析之后，所述方法还包括：

将解析出的除所述特征信息之外的数据进行存储。

可选的，在将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储之后，所述方法还包括：

检测所述解析出的除所述特征信息之外的数据中是否含有其他URL；

若含有其他URL，则利用所述无界面浏览器爬取所述其他URL的网页内容。

可选的，在将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储之后，所述方法还包括：

在后续爬取URL的网页内容之前，检测存储的已爬URL中是否含有待爬取的URL；

若含有所述待爬取的URL，则放弃爬取所述待爬取的URL的网页内容；

若没有所述待爬取的URL，则利用所述无界面浏览器爬取所述待爬取的URL的网页内容。

可选的，在将解析出的除所述特征信息之外的数据进行存储之后，所述方法还包括：

将所述解析出的除所述特征信息之外的数据以日志格式进行导出，获得网页爬取日志。

可选的，所述无界面浏览器为phantom JS浏览器。

另一方面，本发明提供了一种爬取动态网页的装置，所述装置包括：

爬取单元，用于在获取需要爬取的网页的统一资源定位符URL之后，利用无界面浏览器爬取获取的URL的网页内容；

解析单元，用于利用解析引擎对所述爬取单元爬取的网页内容进行解析；

触发单元，用于当所述解析单元的解析结果为所述网页内容中含有触发加载动态数据的特征信息时，通过所述无界面浏览器的模拟点击事件接口触发所述特征信息对应的点击事件；

所述爬取单元还用于爬取所述触发单元触发的所述点击事件产生的动态数据。

可选的，所述解析单元还用于在所述爬取单元爬取所述点击事件产生的动态数据之后，利用解析引擎对所述动态数据进行解析；

触发单元还用于当所述解析单元的解析结果为所述动态数据中含有特征信息时，继续通过所述模拟点击事件接口触发所述特征信息对应的点击事件。

可选的，所述装置还包括：

存储单元，用于在利用解析引擎对爬取的网页内容进行解析之后，将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储；

所述存储单元还用于在利用解析引擎对所述动态数据进行解析之后，将解析出的除所述特征信息之外的数据进行存储。

可选的，所述装置还包括：