[发明专利]一种浏览器页面数据采集方法、终端设备及存储介质

权利要求书

1.一种浏览器页面数据采集方法，其特征在于，包括以下步骤：

S1：启动浏览器扩展的后台程序，并轮询任务中心的任务列表以获取页面数据采集任务；

S2：浏览器扩展根据任务中包含的URL链接打开浏览器页面，判断页面访问是否正常，当页面访问正常时，进入S4；当页面无法访问或访问出错时，给出错误信息，结束；当页面访问受限时，进入S3；

S3：根据页面访问受限的类型，采用对应的规则解除页面访问受限状态后，正常访问页面，进入S4；

S4：在页面中执行JavaScript脚本，以采集页面中需要采集的数据；

S5：将数据采集结果根据浏览器扩展中配置的处理方式进行相应处理。

2.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：步骤S1在打开浏览器扩展的后台程序后，还包括对浏览器扩展进行配置，包括：

(1)配置每台服务器上同时打开的标签页小于1000个；

(2)配置自动识别并去掉页面中的干扰信息；

(3)配置利用浏览器API控制浏览器开启和关闭目标网页；

(4)配置利用浏览器API和JavaScript脚本，进行页面操作；

(5)配置数据采集结果的处理方式。

3.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：步骤S3中解除页面访问受限状态的规则包括：

当页面访问受限类型为IP被限定时，降低网页的访问频率，或构建IP代理池，更换IP进行访问；

当页面访问受限类型为需要验证码时，采用绕过验证码、验证码图像自动识别或手动输入的方式；

当页面访问受限类型为需要登陆Cookie时，预先注册页面需要的账号，并在浏览器扩展中进行配置，在需要登陆Cookie时，根据配置自动模拟登陆或手动输入账号登陆。

4.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：步骤S4中还包括将采集的文本、表格数据、图片链接和视频链接保存为JSON格式的文本数据，将采集的图片和视频保存为图片和视频的原始格式。

5.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：步骤S4采集页面中需要采集的数据的过程包括：自动识别页面的分页方式，根据识别到的分页方式自动点击并打开下一页页面；通过模拟鼠标滚动以获取每一页中更多数据。

6.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：步骤S4中当采集的数据中包括链接时，提取链接生成新的任务后，发送到任务中心，任务中心对接收到任务进行排重后，将其添加至任务列表内。

7.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：步骤S5中数据采集结果的处理方式包括：发送至服务器并保存、导出和打印。

8.根据权利要求1所述的浏览器页面数据采集方法，其特征在于：还包括S6：任务处理技术后，关闭浏览器页面，销毁资源占用。

9.一种浏览器页面数据采集终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。