[发明专利]高可用、高可扩展、分布式的模块化网络爬虫

说明书

 

技术领域

 本发明涉及计算机通信领域，具体地说是一种高可用、高可扩展、分布式的模块化网络爬虫。

背景技术

随着大数据的发展，大数据处理技术已经比较成熟。大数据的关键因素在于如何获得大量的数据。从网络上抓起海量的数据成为获取数据的一个较为便捷的方法。爬虫技术虽然经过多年的发展，但是目前大多数的爬虫扩展性、性能、功能扩展性等各方面都不能满足获取海量数据的要求，并且在分解复杂的网页结构时灵活性不足。因此，设计一款具有可扩展性、高可用、分布式的网络爬虫就很有必要了。

发明内容

针对现有技术存在的不足之处，本发明提出了一种高可用、高可扩展、分布式的模块化网络爬虫。

本发明所述一种高可用、高可扩展、分布式的模块化网络爬虫，解决上述技术问题采用的技术方案如下：该模块化网络爬虫提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，其中：

所述资源模块主要包括控制模块、网页存储模块和通信模块；控制模块是整个系统架构的核心，负责协调各个机器的爬虫间的通信、全局信息共享和为各个爬虫分配任务；网页存储模块负责存储分解后的网页；

所述网页下载模块主要负责网页的下载、添加代理服务器、模拟浏览器行为；

所述网页分解模块负责网页的分解、去除广告信息、去除噪声等；

所述事件驱动模块负责为多个任务安排执行顺序，该模块包括事件驱动编程模型，事件驱动编程模型在网络方面比多线程模型要优秀；

该新型网络爬虫体系结构，是以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系发挥最大的效能，并具有可扩展性和高可用性；该新型网络爬虫体系结构中，网页下载模块、网页分解模块、事件驱动模块和网页存储模块之间的低耦合性，因此可以自定义各个模块的功能以适应网络上结构复杂的网页；并且，单一的控制模块使得整个系统可以很大规模的扩展，即使若干个爬行节点停止工作，整个系统不会丢失全局信息，其他爬行节点可以继续工作，从而提高了系统的可扩展性和高可用性。

 本发明所述高可用、高可扩展、分布式的模块化网络爬虫具有的有益效果：

该新型网络爬虫体系架构基于模块化的灵活扩展的特性，各个模块可以灵活的自定义爬行行为、下载方式、分解方式和存储方式，可以进行灵活的跨节点配置，包括从系统中添加节点或删除节点等操作；同时在修改某一模块时，基本不用或很少对其他模块进行复杂的配置工作，从而减少系统管理的复杂程度；

该高可用、高可扩展、分布式的模块化网络爬虫可以大规模并行工作，并且其配置简单，自定义灵活，从而提高了系统的可扩展性和高可用性，很适合用于海量数据的抓取工作，适合用于云计算中心。

附图说明

附图1为基于控制模块为中心的新型网络爬虫体系结构示意图。

具体实施方式

参照说明书附图和具体实施例，对本发明的高可用、高可扩展、分布式的模块化网络爬虫作以下详细地说明。

本方明所述高可用、高可扩展、分布式的模块化网络爬虫,提出了一种新型网络爬虫体系结构,该体系结构主要包括：资源模块、网页下载模块、网页分解模块以及事件驱动模块，其中：

资源模块主要包括控制模块、网页存储模块和通信模块；所述控制模块是整个系统架构的核心，负责协调各个机器的爬虫间的通信、全局信息共享和为各个爬虫分配任务；网页存储模块负责存储分解后的网页；

网页下载模块主要负责网页的下载、添加代理服务器、模拟浏览器行为；

网页分解模块负责网页的分解、去除广告信息、去除噪声等；

事件驱动模块负责为多个任务安排执行顺序，该模块包括事件驱动编程模型，事件驱动编程模型在网络方面比多线程模型要优秀；

所述新型网络爬虫体系结构，是以控制模块为核心，采用事件驱动的编程模型，通过整合网页下载模块、网页分解模块及协调不同机器之间资源的均衡配置，使分布式爬虫体系发挥最大的效能，并具有可扩展性和高可用性；该新型网络爬虫体系结构中，网页下载模块、网页分解模块、事件驱动模块和网页存储模块之间的低耦合性，因此可以自定义各个模块的功能以适应网络上结构复杂的网页；并且，单一的控制模块使得整个系统可以很大规模的扩展，即使若干个爬行节点停止工作，整个系统不会丢失全局信息，其他爬行节点可以继续工作，从而提高了系统的可扩展性和高可用性。