[发明专利]一种基于网页数据的高速主题爬虫方法

摘要

本发明涉及计算机数据挖掘技术领域，具体为一种基于网页数据的高速主题爬虫方法。本发明利用HTML下载器、BeautifulSoup4网页解析器、json格式规整器、异常处理机制except、多线程机制threading、I/O操作eventlet共同构成的一个爬虫方法。基于开源程序组件构建的爬虫，并且在利用原有技术框架的基础之上进行深度开发定制，满足各领域用户的特定需求，节省开发的时间与经费的成本。利用已有的成熟的多线程机制与异常处理机制与I/O操作，具备高速性、高自动化、高稳定性的特性，解决了普通爬虫速度慢，异常多的问题。使用的格式化存储机制特别适用于表格类数据库，使所爬取的目标数据能够快速的存储和调用。

主权项

1.一种基于用户定制类型的高速主题爬虫方法，具体步骤如下：步骤1、通过网站前端的页面设定爬取入口、使用requests构造HTML下载器；所述HTML下载器用于获取URL响应，并为响应配备utf‑8的解码器；步骤2、通过BeautifulSoup4网页解析器解析网页响应，通过筛选器获取网页相关数据，以及获取下个将要爬取的网页URL；步骤3、将解析后所有需求数据所在的网页URL加入threading线程池中，并使用requests构造HTML下载器并发连接URL获得网页响应，在此过程中加入超时机制eventlet，避免因异常导致的I/O阻塞；步骤4、将步骤3获得的所有网页响应依次加入队列，在队头使用BeautifulSoup4解析响应，筛选器获取网页目标数据以及对应网页需要的下层URL；步骤5、将筛选器获取的目标数据通过json格式规整器进行规整，并将结果存储到系统中。