[发明专利]爬取动态网页的方法及装置

权利要求书

1.一种爬取动态网页的方法，其特征在于，所述方法包括：

在获取需要爬取的网页的统一资源定位符URL之后，利用无界面浏览器爬取获取的URL的网页内容；

利用解析引擎对爬取的网页内容进行解析；

若所述网页内容中含有触发加载动态数据的特征信息，则通过所述无界面浏览器的模拟点击事件接口触发所述特征信息对应的点击事件；

爬取所述点击事件产生的动态数据。

2.根据权利要求1所述的方法，其特征在于，在爬取所述点击事件产生的动态数据之后，所述方法还包括：

利用解析引擎对所述动态数据进行解析；

若所述动态数据中含有特征信息，则继续通过所述模拟点击事件接口触发所述特征信息对应的点击事件。

3.根据权利要求2所述的方法，其特征在于，在利用解析引擎对爬取的网页内容进行解析之后，所述方法还包括：

将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储；

在利用解析引擎对所述动态数据进行解析之后，所述方法还包括：

将解析出的除所述特征信息之外的数据进行存储。

4.根据权利要求3所述的方法，其特征在于，在将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储之后，所述方法还包括：

检测所述解析出的除所述特征信息之外的数据中是否含有其他URL；

若含有其他URL，则利用所述无界面浏览器爬取所述其他URL的网页内容。

5.根据权利要求3所述的方法，其特征在于，在将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储之后，所述方法还包括：

在后续爬取URL的网页内容之前，检测存储的已爬URL中是否含有待爬取的URL；

若含有所述待爬取的URL，则放弃爬取所述待爬取的URL的网页内容；

若没有所述待爬取的URL，则利用所述无界面浏览器爬取所述待爬取的URL的网页内容。

6.根据权利要求3所述的方法，其特征在于，在将解析出的除所述特征信息之外的数据进行存储之后，所述方法还包括：

将所述解析出的除所述特征信息之外的数据以日志格式进行导出，获得网页爬取日志。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述无界面浏览器为phantom JS浏览器。

8.一种爬取动态网页的装置，其特征在于，所述装置包括：

爬取单元，用于在获取需要爬取的网页的统一资源定位符URL之后，利用无界面浏览器爬取获取的URL的网页内容；

解析单元，用于利用解析引擎对所述爬取单元爬取的网页内容进行解析；

触发单元，用于当所述解析单元的解析结果为所述网页内容中含有触发加载动态数据的特征信息时，通过所述无界面浏览器的模拟点击事件接口触发所述特征信息对应的点击事件；

所述爬取单元还用于爬取所述触发单元触发的所述点击事件产生的动态数据。

9.根据权利要求8所述的装置，其特征在于，所述解析单元还用于在所述爬取单元爬取所述点击事件产生的动态数据之后，利用解析引擎对所述动态数据进行解析；

触发单元还用于当所述解析单元的解析结果为所述动态数据中含有特征信息时，继续通过所述模拟点击事件接口触发所述特征信息对应的点击事件。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

存储单元，用于在利用解析引擎对爬取的网页内容进行解析之后，将解析出的除所述特征信息之外的数据以及当前爬取的URL进行存储；

所述存储单元还用于在利用解析引擎对所述动态数据进行解析之后，将解析出的除所述特征信息之外的数据进行存储。