[发明专利]网页数据采集方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种网页数据采集方法及装置。

背景技术

随着计算机网络的迅速发展，互联网已经成为一个巨大的信息资源库，最常用的资源通常通过网页的方式呈现，而通过获取该信息资源库中的信息就可以使用户在信息采集，资源整合方面节约大量的人力与资金。在浩瀚的资源海洋中，如何准确地查找、分类存储、加工利用我们需要的信息资源，却是一个难题。

通过传统的搜索引擎可以方便地查找信息，数据量较小的情况下，可以人工手动存储和加工。然而，数据量较大的话，人工的方法进行数据存储就存在效率低下的问题。

发明内容

本发明提供一种网页数据采集方法及装置，用于解决现有技术无法实现有效的网页数据采集的技术问题。

本发明的第一个方面是提供一种网页数据采集方法，包括：

确定并加载待采集网页；

检测所述待采集网页是否加载完毕，若是，则获取当前所述待采集网页对应的数据；

根据预先配置的采集规则，从所述待采集网页对应的数据中，采集与所述采集规则匹配的数据。

本发明的另一个方面是提供一种网页数据采集装置，包括：

第一处理模块，用于确定待采集网页；

第二处理模块，用于加载所述待采集网页；

检测模块，用于检测所述待采集网页是否加载完毕，若是，则获取当前所述待采集网页对应的数据；

采集模块，用于根据预先配置的采集规则，从所述待采集网页对应的数据中，采集与所述采集规则匹配的数据。

本发明提供的网页数据采集方法及装置，通过若待采集网页加载完毕，则从所述待采集网页对应的数据中采集与预设的采集规则匹配的数据的技术方案，有效实现对网页数据进行采集。

附图说明

图1为本发明实施例一提供的一种网页数据采集方法的流程示意图；

图2为本发明实施例二提供的一种网页数据采集装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明实施例一提供的一种网页数据采集方法的流程示意图，如图1所示，所述方法包括：

101、确定并加载待采集网页。

可选的，可以根据接收到的数据采集请求执行101，或者，根据预设周期定时执行101，本实施例未对其执行条件进行限制。则相应的，在101中，所述确定待采集网页，具体可以包括：

根据接收到的包括待采集网页地址的数据采集请求，将所述待采集网页地址对应的网页作为所述待采集网页；或者，

根据接收到的数据采集请求，将当前网页作为所述待采集网页；或者，

根据预设的周期，定时将当前网页作为所述待采集网页。

其中，所述待采集网页地址的形式具体可以为，统一资源定位符（Uniform Resource Locator，简称URL）。通过本实施方式，可以使用户根据不同的自身需求选择采取相应的采集触发方式，进而更有效地进行数据采集。

具体的，在实际应用中，当需要对某个网页进行加载时，通常先要通过该网页的登录验证，登录成功后才可以实现对网页的加载。则相应的，为了实现更加方便地进行网页数据采集，在101中，所述加载待采集网页之前，还可以包括：

查询预存的各网页对应的登录信息，获得所述待采集网页对应的登录信息，所述登录信息包括登录账号和登录密码；

向网站服务器发送验证请求，所述验证请求包括所述待采集网页对应的登录信息；

所述加载待采集网页，具体可以包括：

若接收到所述网站服务器返回的验证通过消息，则加载所述待采集网页。

在本实施方式中，预先存储各网页对应的登录信息，从而在需要登录并加载某个网页时，能够实现自动登录该网页，并在登录成功后进行网页加载，进而进一步方便、有效地进行数据采集。

102、检测所述待采集网页是否加载完毕，若是，则获取当前所述待采集网页对应的数据。

具体的，102中所述检测所述待采集网页是否加载完毕，具体可以包括：

通过MSHTML组件，获得当前对所述待采集网页的读取状态；

若当前对所述待采集网页的读取状态为完成状态，则判定所述待采集网页加载完毕。