[发明专利]基于浏览器的数据获取方法、装置和系统

说明书

本发明实施例涉及信息获取技术领域，公开了一种基于浏览器的数据获取方法、装置和系统。该方法包括：使用WebKit创建浏览器，并编写自动化js脚本，存储到目标文件夹目录中；接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面；根据所述目标任务调取目标js脚本获取第一数据；对所述第一数据进行解析和清洗，得到目标数据并入库；返回目标任务结果状态。实施本发明实施例，可以通过自制WebKit浏览器以及自动化js脚本，快速自动爬取相关数据。

技术领域

本发明涉及基于数据获取技术领域，具体涉及一种基于浏览器的数据获取方法、装置和系统。

背景技术

随着反爬技术的进步，例如浏览器指纹识别、ajax页面数据动态加载以及JavaScript动态加密等技术的日益完善，网页数据获取难度也在增加，传统爬虫比如模拟浏览器直接发送请求，其伪造浏览器环境就变得非常困难，也有通过selenium框架驱动浏览器来完成数据爬取的相关开发，但是随着日益更新的自动化机器人检测，比如基于navigator、canvas等参数的检测，使得selenium框架驱动浏览器的开发难度逐渐加大，同时其稳定性也受到了很大的影响。

发明内容

针对所述缺陷，本发明实施例公开了一种基于浏览器的数据获取方法、装置和系统，其通过自制WebKit浏览器以及自动化js脚本，采用前后端分离的方式，可以快速自动爬取相关数据。

本发明实施例第一方面公开一种基于浏览器的数据获取方法，其包括：

使用WebKit创建浏览器，并编写自动化js脚本，存储到目标文件夹目录中；

接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面；

根据所述目标任务调取目标js脚本获取第一数据；

对所述第一数据进行解析和清洗，得到目标数据并入库；

返回目标任务结果状态。

作为较佳的实施例，在本发明实施例的第一方面中，接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面，包括：

接收目标任务，通过第一js脚本驱动所述浏览器跳转至目标页面。

作为较佳的实施例，在本发明实施例的第一方面中，根据所述目标任务调取目标js脚本获取第一数据，包括：

提取所述目标任务中的任务关键词；

根据所述任务关键词从所述目标文件夹目录中调取对应的目标js脚本；

利用所述目标js脚本在所述目标页面中爬取第一数据。

作为较佳的实施例，在本发明实施例的第一方面中，对所述第一数据进行解析和清洗，得到目标数据并入库，包括：

对所述第一数据进行解析，将解析后的第一数据封装成第二数据；

对所述第二数据进行清洗，得到目标数据；

将所述目标数据存储于目标数据库中。

本发明实施例第二方面公开一种基于浏览器的数据获取装置，其包括：

创建单元，用于使用WebKit创建浏览器，并编写自动化js脚本，存储到目标文件夹目录中；

接收单元，用于接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面；

获取单元，用于根据所述目标任务调取目标js脚本获取第一数据；

处理单元，用于对所述第一数据进行解析和清洗，得到目标数据并入库；

返回单元，用于返回目标任务结果状态。