[发明专利]一种面向建筑施工企业的大数据采集方法和系统

说明书

本发明公开了一种面向建筑施工企业的大数据采集方法和系统，用于提供适用于建筑施工行业的大数据采集机制，实现对建筑施工企业的网页资源采集。本发明实施例中可以抓取建筑施工企业的相关信息，每一家建筑施工企业可以抓取如下的6个数据项，分别为：公司简介、中标信息、经营信息、荣誉信息、资质等级、建造师信息，且每个数据项都采用独立的爬虫程序，因此各个数据项可以实现并行爬取，通过建筑施工企业的URL地址和企业名称可以抓取每个数据项的子URL地址，因此本发明实施例中采用的是广度优先的搜索策略，可针对建筑施工企业进行本行业内的网页资源爬取，提升了爬取建筑施工企业的网页资源的速度。

技术领域

本发明涉及建筑施工行业的数据获取技术领域，具体涉及一种面向建筑施工企业的大数据采集方法和系统。

背景技术

随着网络(web)的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(SearchEngine)，例如传统的通过搜索引擎Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问web的入口和指南。但是，这些通用的搜素引擎也存在着一定的局限性，无法抓取定向的网页资源。

为了解决上述问题，网络爬虫应运而生，网络爬虫可以定向抓取相关网页资源。它是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，从而可以获取用户所需要的信息。

现有技术中，网络爬虫大多是通过爬取web网页来获取信息，而且大多采用深度优先的搜索策略，即在一个超文本标记语言(HyperText Markup Language，HTML)文件中，选择其中一个超链接标签进行深度搜索，直至遍历这条超链接到最底层时，由逻辑运算判断本层搜索结束，随后退出本层循环，返回上层循环并开始搜索其他的超链接标签，直至初始文件内的超链接被遍历完成，在爬取过程中可设置互联网协议(Internet Protocol，IP)代理，从而可以防止反爬虫。

现有技术中，网络爬虫大多采用深度优先的搜索策略，而在数据结构日益复杂的情况下，站点的纵向层级会无限增加且不同层级之间会出现交叉引用，会发生无限循环的情况，只有强行关闭程序才能退出遍历，而得到的信息由于大量的重复和冗余，质量很难保证，一旦程序在执行过程中因为网络或其它原因中断，中断点很难找出，也就无法确定爬虫再启动的开始点，因此现有技术中对网页资源的爬取效率较低。

另外，现有技术中网络爬虫并不是专门适用于建筑施工行业的网页爬取，没有考虑到本行业的特性，因此急需一种适用于建筑施工行业的网页资源爬取方案。

发明内容

本发明的目的在于提供一种面向建筑施工企业的大数据采集方法和系统，用于提供适用于建筑施工行业的大数据采集机制，实现对建筑施工企业的网页资源采集。

为了达到上述目的，本发明采用这样的如下技术方案：

一方面，本发明提供一种面向建筑施工企业的大数据采集方法，包括：

步骤一、按照建筑施工企业所在的层级区域位置关系依次获取多个建筑施工企业各自的统一资源定位符URL地址以及对应的企业名称；

步骤二、将所述多个建筑施工企业各自的URL地址保存到URL文本文件中，将所述多个建筑施工企业各自的企业名称保存到名称文本文件中；

步骤三、从所述URL文本文件中读取到第一建筑施工企业的URL地址，以及从所述名称文本文件中读取到所述第一建筑施工企业的企业名称，其中，所述第一建筑施工企业为所述多个建筑施工企业中的任意一个建筑施工企业；

在所述步骤三执行完成后，分别执行步骤四和步骤九；