[发明专利]基于浏览器的数据获取方法、装置和系统

权利要求书

1.一种基于浏览器的数据获取方法，其特征在于，包括：

使用WebKit创建浏览器，并编写自动化js脚本，存储到目标文件夹目录中；

接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面；

根据所述目标任务调取目标js脚本获取第一数据；

对所述第一数据进行解析和清洗，得到目标数据并入库；

返回目标任务结果状态。

2.根据权利要求1所述的基于浏览器的数据获取方法，其特征在于，接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面，包括：

接收目标任务，通过第一js脚本驱动所述浏览器跳转至目标页面。

3.根据权利要求1所述的基于浏览器的数据获取方法，其特征在于，根据所述目标任务调取目标js脚本获取第一数据，包括：

提取所述目标任务中的任务关键词；

根据所述任务关键词从所述目标文件夹目录中调取对应的目标js脚本；

利用所述目标js脚本在所述目标页面中爬取第一数据。

4.根据权利要求1所述的基于浏览器的数据获取方法，其特征在于，对所述第一数据进行解析和清洗，得到目标数据并入库，包括：

对所述第一数据进行解析，将解析后的第一数据封装成第二数据；

对所述第二数据进行清洗，得到目标数据；

将所述目标数据存储于目标数据库中。

5.一种基于浏览器的数据获取装置，其特征在于，包括：

创建单元，用于使用WebKit创建浏览器，并编写自动化js脚本，存储到目标文件夹目录中；

接收单元，用于接收目标任务，并基于所述目标任务使所述浏览器跳转至目标页面；

获取单元，用于根据所述目标任务调取目标js脚本获取第一数据；

处理单元，用于对所述第一数据进行解析和清洗，得到目标数据并入库；

返回单元，用于返回目标任务结果状态。

6.根据权利要求5所述的基于浏览器的数据获取装置，其特征在于，所述获取单元，包括：

提取子单元，用于提取所述目标任务中的任务关键词；

调用子单元，用于根据所述任务关键词从所述目标文件夹目录中调取对应的目标js脚本；

爬取子单元，用于利用所述目标js脚本在所述目标页面中爬取第一数据。

7.一种基于浏览器的数据获取系统，其特征在于，包括：

任务调度模块，用于接收前端发送的目标任务；

数据采集模块，用于接收所述任务调度模块发送的目标任务，并根据所述目标任务获取第一数据；

管道模块，用于对所述第一数据进行清洗并入库；

其中，所述数据采集模块包括自动化js脚本模块和浏览器模块，所述自动化js脚本模块接收所述目标任务，并根据所述目标任务调用相应的自动化js脚本，使得所述浏览器模块跳转到目标页面，并爬取目标页面中的第一数据。

8.根据权利要求7所述的基于浏览器的数据获取系统，其特征在于，所述自动化js脚本模块包括存储有编写的自动化js脚本的目标文件夹，以及任务获取更新模块和解析模块，所述任务获取更新模块获取所述目标任务，调取自动化js脚本中的第一js脚本驱动所述浏览器模块跳转至目标页面，并调取自动化js脚本中的目标js脚本自动爬取所述目标页面的第一数据；所述解析模块用于接收所述第一数据，并对所述第一数据进行解析，将解析后的第一数据封装成第二数据后，发送至任务获取更新模块。

9.根据权利要求8所述的基于浏览器的数据获取系统，其特征在于，所述任务调度模块接收任务获取更新模块发送的第二数据，并调取管道模块中的数据提取清洗模块对所述第二数据进行清洗，得到目标数据，所述任务调度模块还调取管道模块中的数据读写操作模块将所述目标数据存储于目标数据库中。