[发明专利]基于Node.js的爬虫方法、装置、计算机设备及存储介质

权利要求书

1.一种基于Node.js的爬虫方法，其特征在于，包括：

获取待访问队列；其中，所述待访问队列包括多个访问地址；每一所述访问地址对应一网页；

基于所述访问地址，调用多个爬虫任务进程执行图像下载任务；其中，每一所述爬虫任务进程对应处理一所述访问地址；

接收每一所述爬虫任务进程下载的图像数据，并将所述图像数据存储至结果处理队列中；

调用一结果处理进程从所述结果处理队列中取出每一所述图像数据，并写入至目标文件中。

2.如权利要求1所述基于Node.js的爬虫方法，其特征在于，所述获取待访问队列，包括：

根据预设的拼接规则和目标网页地址，得到所述目标网页地址所链接的多个访问地址；

将所述多个访问地址存储至所述待访问队列中。

3.如权利要求1所述基于Node.js的爬虫方法，其特征在于，所述基于所述访问地址，调用多个爬虫任务进程执行图像下载任务，包括：

在每一所述爬虫任务进程中，调用node.js工具中的数据请求模块请求每一所述访问地址对应的网页数据；

调用node.js工具中的数据解析模块解析所述网页数据，得到多个图像下载地址；

采用异步并发的方式，按照预设时间间隔，调用所述node.js工具中的图像下载模块同时访问所述多个图像下载地址，下载所述图像下载地址中的图像数据。

4.如权利要求3所述基于Node.js的爬虫方法，其特征在于，在所述采用异步并发的方式，调用所述node.js工具中的图像下载模块同时访问所述多个图像下载地址，下载所述图像下载地址中的图像数据之前，所述基于Node.js的爬虫方法还包括：

将所述多个图像下载地址存储至待下载队列中；

在所述采用异步并发的方式，调用所述node.js工具中的图像下载模块同时访问所述多个图像下载地址，下载所述图像下载地址中的图像数据之后，所述基于Node.js的爬虫方法还包括：

当所述图像数据下载完成后，从所述待下载队列中删除所述图像数据对应的图像下载地址。

5.如权利要求3所述基于Node.js的爬虫方法，其特征在于，在所述采用异步并发的方式，调用所述node.js工具中的图像下载模块同时访问所述多个图像下载地址，下载所述图像下载地址中的图像数据之后，所述基于Node.js的爬虫方法还包括：

对下载后的每一所述图像数据进行归一化处理，得到多个归一化后的待处理图像；

对所述多个待处理图像进行相似度计算，去除所述图像数据中所述相似度大于预设相似度阈值的图像。

6.如权利要求1所述基于Node.js的爬虫方法，其特征在于，在所述基于所述访问地址，调用多个爬虫任务进程执行图像下载任务之前，所述基于Node.js的爬虫方法还包括：

获取访问地址的数据量；

所述基于所述访问地址，调用多个爬虫任务进程执行图像下载任务，包括：

当所述数据量满足预设阈值，则基于所述访问地址，调用多个爬虫任务进程执行图像下载任务。

7.如权利要求1所述基于Node.js的爬虫方法，其特征在于，在所述调用多个爬虫任务进程对所述待访问队列中的访问地址执行图像下载任务之后，所述基于Node.js的爬虫方法还包括：

监控每一所述爬虫任务进程对应的进程状态；

当所述进程状态为异常时，则将所述爬虫任务进程所处理的访问地址作为目标地址；

重启一新的所述爬虫任务进程对所述目标地址执行图像下载任务。