[发明专利]基于大数据的网络爬虫系统

说明书

本申请涉及一种基于大数据的网络爬虫系统，基于大数据的网络爬虫系统包括配置模块，用于配置爬虫参数；生成模块，用于根据爬虫参数生成爬虫程序；爬取模块，用于根据爬虫程序进行信息爬取。本申请可以准确爬取配置参数配置的内容，减少无效爬取数据量，提高爬取效率，适应性大数据网络要求。

技术领域

本申请属于爬虫技术领域，具体涉及一种基于大数据的网络爬虫系统。

背景技术

随着互联网技术的飞速发展，大数据时代已经到来，数据采集成为至关重要的环节。爬虫系统作为数据采集的一个重要源头，发挥着不可替代的作用。传统网络爬虫最大的应用场景是搜索引擎，普通的企业更多是做网站或应用。网络爬虫负责从各个网站采集储存互联网信息，将其作为搜索引擎公司提供搜索服务的数据支撑。网络爬虫让体量巨大的互联网变得可以搜索，使爆炸式增长的互联网变得更加容易访问和获取，在可预见的未来，互联网爬虫技术将继续得到发展。互联网作为人类历史最大的知识仓库，是非结构化或非标准化的。互联网上聚集了大量的文本、图片、多媒体等数据，内容虽然非常有价值，但是知识提取的难度仍然非常巨大。现有的网络爬虫系统不能识别有效数据，盲目爬取网页所有信息，不仅费时，而且爬取效率低，难以应用与大数据网络的信息爬取。

发明内容

为至少在一定程度上克服现有的网络爬虫系统不能识别有效数据，盲目爬取网页所有信息，不仅费时，而且爬取效率低，难以应用与大数据网络的信息爬取的问题，本申请提供一种基于大数据的网络爬虫系统，包括：

配置模块，用于配置爬虫参数；

生成模块，用于根据所述爬虫参数生成爬虫程序；

爬取模块，用于根据所述爬虫程序进行信息爬取。

进一步的，所述爬虫参数包括：网络网址和网页中数据字段。

进一步的，还包括：第一识别模块，用于识别反爬网址，和/或，识别网页中反爬字段。

进一步的，还包括：

打包模块，用于打包所述爬虫程序。

进一步的，还包括：

部署模块，用于将打包好的爬虫程序部署到服务器。

进一步的，还包括：

监控模块，用于对爬取过程进行监控。

进一步的，还包括：

输出模块，用于实时输出爬虫日志，所述爬虫日志包括爬取内容完整性、正确率、发送请求数和返回请求数。

进一步的，还包括：

订阅模块，用于将所述爬虫日志发送至爬虫相关人员。

进一步的，还包括：

第二识别模块，用于自动识别解析规则。

进一步的，还包括：

调度模块，用于为所述服务器添加标签，根据标签分配爬虫程序。

本申请的实施例提供的技术方案可以包括以下有益效果：

本发明实施例提供的基于大数据的网络爬虫系统，通过配置模块配置爬虫参数，生成模块根据爬虫参数生成爬虫程序，爬取模块根据爬虫程序进行信息爬取，可以准确爬取配置参数配置的内容，减少无效爬取数据量，提高爬取效率，适应性大数据网络要求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。