[发明专利]一种大规模网络爬虫程序的访问方法及装置

权利要求书

1.一种大规模网络爬虫程序的访问方法，其特征在于，包括：

通过分发调度层调度爬虫插件从网络端获取代理地址，将所述代理地址存储至数据表内；所述数据表包括数据类型和列名，且所述数据类型，所述列名分别与获取所述代理地址的网络端对应；

通过所述数据表内包括的所述代理地址依此访问设定的网页，若成功访问则确定所述代理地址为第一代理地址，并在所述数据表内进行标记；按照设定的时间将所述第一代理地址加载到缓存队列中；

所述爬虫插件通过轮循所述第一代理地址，访问数据源。

2.如权利要求1所述的方法，其特征在于，所述分发调度层包括Muti方式和Dispatch模式；

所述Muti方式提供多线程，且多个所述线程同时执行所述爬虫插件的实现；

所述Dispatch模式从多个所述线程组成的线程池内获取一个所述线程用于获取爬虫任务并将所述爬虫任务分发给所述线程池内的多个所述线程，以使多个所述线程执行与所述爬虫任务对应的所述爬虫插件的实现。

3.如权利要求1所述的方法，其特征在于，所述爬虫插件包括周期任务型插件和网页爬虫型插件；

所述周期任务型插件用于在设定时间内周期扫描，所述网页爬虫型插件用于执行爬取。

4.如权利要求1所述的方法，其特征在于，所述通过分发调度层调度爬虫插件从网络端获取代理地址之前，还包括：

收到所述爬虫插件时，在超时管理中添加一个事件备忘时间，当所述事件备忘时间与当前时间差大于超时阈值时，将所述爬虫插件重新添加到缓存队列中；所述分发调度层从所述缓存队列内按照入队顺序调度所述爬虫插件。

5.如权利要求1所述的方法，其特征在于，所述通过所述数据表内包括的所述代理地址依此访问设定的网页，若成功访问则确定所述代理地址为第一代理地址，具体包括：

调度程序按照检测时间加载所述数据库内包括的多个所述代理地址，将多个所述代理地址作为任务参数发送到多个不同的消息队列中；

多个不同的所述消息队列内的所述任务参数访问设定的网页，并将访问结果反馈给所述调度程序。

6.一种大规模网络爬虫程序的访问装置，其特征在于，包括：

获取单元，用于通过分发调度层调度爬虫插件从网络端获取代理地址，将所述代理地址存储至数据表内；所述数据表包括数据类型和列名，且所述数据类型，所述列名分别与获取所述代理地址的网络端对应；

确定单元，用于通过所述数据表内包括的所述代理地址依此访问设定的网页，若成功访问则确定所述代理地址为第一代理地址，并在所述数据表内进行标记；按照设定的时间将所述第一代理地址加载到缓存队列中；

访问单元，用于所述爬虫插件通过轮循所述第一代理地址，访问数据源。

7.如权利要求6所述的装置，其特征在于，所述分发调度层包括Muti方式和Dispatch模式；

所述Muti方式提供多线程，且多个所述线程同时执行所述爬虫插件的实现；

所述Dispatch模式从多个所述线程组成的线程池内获取一个所述线程用于获取爬虫任务并将所述爬虫任务分发给所述线程池内的多个所述线程，以使多个所述线程执行与所述爬虫任务对应的所述爬虫插件的实现。

8.如权利要求6所述的装置，其特征在于，所述爬虫插件包括周期任务型插件和网页爬虫型插件；

所述周期任务型插件用于在设定时间内周期扫描，所述网页爬虫型插件用于执行爬取。

9.如权利要求6所述的装置，其特征在于，所述获取单元还用于：

收到所述爬虫插件时，在超时管理中添加一个事件备忘时间，当所述事件备忘时间与当前时间差大于超时阈值时，将所述爬虫插件重新添加到缓存队列中；所述分发调度层从所述缓存队列内按照入队顺序调度所述爬虫插件。

10.如权利要求6所述的装置，其特征在于，所述确定单元具体用于：

调度程序按照检测时间加载所述数据库内包括的多个所述代理地址，将多个所述代理地址作为任务参数发送到多个不同的消息队列中；

多个不同的所述消息队列内的所述任务参数访问设定的网页，并将访问结果反馈给所述调度程序。