[发明专利]网页数据采集方法及装置

权利要求书

1.一种网页数据采集方法，其特征在于，包括：

确定并加载待采集网页；

检测所述待采集网页是否加载完毕，若是，则获取当前所述待采集网页对应的数据；

根据预先配置的采集规则，从所述待采集网页对应的数据中，采集与所述采集规则匹配的数据。

2.根据权利要求1所述的方法，其特征在于，所述检测所述待采集网页是否加载完毕，具体包括：

通过MSHTML组件，获得当前对所述待采集网页的读取状态；

若当前对所述待采集网页的读取状态为完成状态，则判定所述待采集网页加载完毕。

3.根据权利要求1所述的方法，其特征在于，所述加载待采集网页之前，还包括：

查询预存的各网页对应的登录信息，获得所述待采集网页对应的登录信息，所述登录信息包括登录账号和登录密码；

向网站服务器发送验证请求，所述验证请求包括所述待采集网页对应的登录信息；

所述加载待采集网页，具体包括：

若接收到所述网站服务器返回的验证通过消息，则加载所述待采集网页。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述确定待采集网页，具体包括：

根据接收到的包括待采集网页地址的数据采集请求，将所述待采集网页地址对应的网页作为所述待采集网页；或者，

根据接收到的数据采集请求，将当前网页作为所述待采集网页；或者，

根据预设的周期，定时将当前网页作为所述待采集网页。

5.一种网页数据采集装置，其特征在于，包括：

第一处理模块，用于确定待采集网页；

第二处理模块，用于加载所述待采集网页；

检测模块，用于检测所述待采集网页是否加载完毕，若是，则获取当前所述待采集网页对应的数据；

采集模块，用于根据预先配置的采集规则，从所述待采集网页对应的数据中，采集与所述采集规则匹配的数据。

6.根据权利要求6所述的装置，其特征在于，所述检测模块具体包括：

获取单元，用于通过MSHTML组件，获得当前对所述待采集网页的读取状态；

判定单元，用于若当前对所述待采集网页的读取状态为完成状态，则判定所述待采集网页加载完毕。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

查询模块，用于查询预存的各网页对应的登录信息，获得所述待采集网页对应的登录信息，所述登录信息包括登录账号和登录密码；

发送模块，用于向网站服务器发送验证请求，所述验证请求包括所述待采集网页对应的登录信息；

所述第一处理模块，具体用于若接收到所述网站服务器返回的验证通过消息，则加载所述待采集网页。

8.根据权利要求5-7中任一项所述的装置，其特征在于，所述第一处理模块，具体用于根据接收到的包括待采集网页地址的数据采集请求，确定待采集网页，所述待采集网页的网页地址为所述待采集网页地址；或者，根据接收到的数据采集请求，将当前网页作为所述待采集网页；或者，根据预设的周期，定时将当前网页作为所述待采集网页。