[发明专利]用于网页爬取的数据处理方法及装置

说明书

技术领域

本发明涉及互联网领域，具体而言，涉及一种用于网页爬取的数据处理方法及装置。

背景技术

随着互联网的兴起，网络中存在中大量的信息，与此同时，垂直网络爬虫也应运而生，垂直网络爬虫是一个自动下载的网页程序，它根据既定的抓取目标，有选择性的访问特定网页与相关链接，获取所需要的信息。与通用爬虫不同，垂直爬虫，抓取与某一特定主题相关的网页，为面向主题的用户查询准备数据资源。

因此，垂直爬虫，会根据前端的配置定期的抓取特定网页的信息资源，但是在实际爬虫的执行的过程中，可能存在对某一网站资源抓取奔溃的情况。如何在多次对同一网站爬取时导致的崩溃问题及时处理并反应给系统处理人员，是当前需要解决的问题。

传统的网络爬虫在解决爬虫崩溃问题上会将崩溃信息记录日志或者异常触发机制已邮件的形式发送给系统管理人员。但是，传统记录日志的方式不能够对定期爬取的爬虫频繁奔溃进行处理，而异常触发机制需要系统人员对频繁奔溃的爬虫手工结束。

针对相关技术中解决爬虫频繁崩溃占用大量系统资源的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种用于网页爬取的数据处理方法及装置，以在一定程度上解决了相关技术中解决爬虫崩溃问题的处理方式导致的爬取数据效率低的问题。

为了实现上述目的，根据本发明实施例的一个方面，提供了一种用于网页爬取的数据处理方法。根据本发明的网页爬取的数据处理方法包括：在启动爬取程序之后，获取所述爬取程序当前爬取的网站的状态标志位；确定所述状态标志位指示的爬取状态；若所述状态标志位指示的所述爬取状态为中断爬取状态，则判断数据库中记录的当前崩溃次数是否小于预设崩溃阈值；若所述当前崩溃次数不小于所述预设崩溃阈值，则终止所述爬取程序的工作；若所述当前崩溃次数小于所述预设崩溃阈值，则控制所 述爬取程序继续工作。

进一步地，启动爬取程序包括：使用正在爬取状态的第一标识设置所述数据库中的所述当前爬取的网站的状态标志位；在启动爬取程序之后，所述数据处理方法还包括：若所述爬取程序返回的数据为异常数据，则判断出所述爬取程序崩溃，使用所述中断爬取状态的第二标识修改所述当前爬取的网站的状态标志位，并将所述数据库中记录的所述当前爬取的网站的当前崩溃次数加一。

进一步地，在启动爬取程序之后，所述数据处理方法还包括：若所述爬取程序爬取所述网站的所有网络资源地址返回的数据均未出现异常，则确定所述爬取程序成功爬取所述网站，使用正在爬取状态的第二第一标识设置将所述网站的状态标志位。

进一步地，在判断出所述爬取程序崩溃之后，所述数据处理方法还包括：读取所述异常数据中的错误代码；获取所述错误代码的爬取崩溃信息，并输出所述爬取崩溃信息。

进一步地，若所述当前崩溃次数不小于所述预设崩溃阈值，在终止所述爬取程序的工作的同时，所述数据处理方法还包括：使用终止爬取状态的第三标识设置所述当前爬取的网站的状态标志位；若所述当前崩溃次数小于所述预设崩溃阈值，在控制所述爬取程序继续工作的同时，所述处理方法还包括：使用正在爬取状态的第二标识设置所述当前爬取的网站的状态标志位。

进一步地，在确定所述状态标志位指示的爬取状态之后，所述数据处理方法还包括：若所述状态标志位指示的爬取状态为正在爬取状态或终止爬取状态，则控制所述爬取程序继续工作。

为了实现上述目的，根据本发明实施例的另一方面，提供了一种用于网页爬取的数据处理装置。根据本发明的用于网页爬取的数据处理装置包括：获取模块，在启动爬取程序之后，用于获取所述爬取程序当前爬取的网站的状态标志位；确定模块，用于确定所述状态标志位指示的爬取状态；判断模块，在所述确定装置确定的所述爬取状态为中断爬取状态的情况下，用于判断数据库中记录的当前崩溃次数是否小于预设崩溃阈值；终止模块，在所述判断模块的判断结果为否的情况下，用于终止所述爬取程序的工作；第一控制模块，在所述判断模块的判断结果为是的情况下，用于控制所述爬取程序继续工作。

进一步地，所述数据处理装置还包括：启动模块，用于使用正在爬取状态的第一标识设置所述数据库中的所述当前爬取的网站的状态标志位，启动爬取程序；所述数据处理装置还包括：修改模块，在所述爬取程序返回的数据为异常数据的情况下，用于判断出所述爬取程序崩溃，使用所述中断爬取状态的第二标识修改所述当前爬取的 网站的状态标志位，并将所述数据库中记录的所述当前爬取的网站的当前崩溃次数加一。