[发明专利]一种基于网页数据的高速主题爬虫方法

说明书

本发明涉及计算机数据挖掘技术领域，具体为一种基于网页数据的高速主题爬虫方法。本发明利用HTML下载器、BeautifulSoup4网页解析器、json格式规整器、异常处理机制except、多线程机制threading、I/O操作eventlet共同构成的一个爬虫方法。基于开源程序组件构建的爬虫，并且在利用原有技术框架的基础之上进行深度开发定制，满足各领域用户的特定需求，节省开发的时间与经费的成本。利用已有的成熟的多线程机制与异常处理机制与I/O操作，具备高速性、高自动化、高稳定性的特性，解决了普通爬虫速度慢，异常多的问题。使用的格式化存储机制特别适用于表格类数据库，使所爬取的目标数据能够快速的存储和调用。

技术领域

本发明涉及计算机数据挖掘技术领域，具体为一种基于网页数据的高速主题爬虫方法。

背景技术

随着大数据的时代来临，互联网承载的数据存储量呈现爆炸性增长。用户常常通过搜索引擎这样一个检索工具，来作为互联网的访问入口和指南，但是，使用搜索引擎来获取数据信息均存在着一定的缺陷，即无法完美匹配。例如不同专业、背景的用户往往有不同的检索目的和需求，但是使用搜索引擎所返回的结果通常包含大量用的户不关心的内容。商业搜索引擎服务于社会大众，追求效果能够能够覆盖所有领域，所以其无法按用户的需求进行定制，从而常常反馈给用户的信息太多，噪声数据太大。

这种情况下能够按需抓取相关网站数据的主题爬虫应运而生。主题爬虫即为自动下载网页的程序，它根据需求，有选择的访问互联网上的网页与相关的链接，下载用户所需数据。作为一种智能的Web爬虫，它的工作原理与一般的爬虫相似。不同的是，主题爬虫不追求大面积数据的覆盖，而是通过自然语言识别、图像分析等方式筛选网站上的所有数据，去除噪声，并将爬取的目标数据自动存入本地，方便用户查询与使用。

对于主题爬虫，在爬取数据的过程中常常有两个需要解决的重点问题是：一，程序的连接速度问题，网站服务器响应慢通常会导致爬虫程序的连接速度缓慢，从而使爬虫程序运行时间漫长，程序错误或者假死；二，数据存储问题，不同的目标数据通常在数据库中的物理模型不同，使得存储难度加大；就目前来说，现存的开源爬虫缺乏定制性，不能很好的满足用户的精准爬取需求。

因此，如何提升主题爬虫的爬取速度与稳定性，并具有通用存储方法，是现存爬虫技术的首要问题。

发明内容

针对上述存在问题或不足，为提升主题爬虫的爬取速度与稳定性，并具有通用存储方法，本发明提供了一种基于网页数据的高速主题爬虫方法。

具体技术方案步骤如下：

步骤1、通过网站前端的页面设定爬取入口、使用requests构造HTML下载器；所述HTML下载器用于获取URL响应，并为响应配备utf-8的解码器；

步骤2、通过BeautifulSoup4网页解析器解析网页响应，通过筛选器获取网页相关数据，以及获取下个将要爬取的网页URL；

步骤3、将解析后所有需求数据所在的网页URL加入threading线程池中，并使用requests构造HTML下载器并发连接URL获得网页响应，在此过程中加入超时机制eventlet，避免因异常导致的I/O阻塞；

步骤4、将步骤3获得的所有网页响应依次加入队列，在队头使用BeautifulSoup4解析响应，筛选器获取网页目标数据以及对应网页需要的下层URL；

步骤5、将筛选器获取的目标数据通过json格式规整器进行规整，并将结果存储到系统中。

进一步的，在爬虫程序运行的整个过程中，采用异常处理机制监控并处理连接URL、解析页面、格式化写入时出现的响应超时，解码错误，键值错误的异常，避免程序异常中断。所述异常处理机制选用except。