[发明专利]基于scrapy框架的房地产数据爬虫方法及装置

说明书

本发明公开了一种基于scrapy框架的房地产数据爬虫方法，包括：特征提取步骤，对目标网页的数据进行分析，提取所述目标网页中房地产数据的位置特征及结构特征；代码生成步骤，根据所述目标网页构建相应的项目，根据所述位置特征及所述结构特征生成基于scrapy框架的爬虫代码；数据爬取步骤，在scrapy文件集的setting文件中设置信息头将本地IP地址转换成正常的访问地址，根据所述爬虫代码，爬取所述房地产数据并按预设的规则保存。本发明通过对网页数据分析提取特征，根据特征自动生成相应爬虫代码，爬取房地产数据并保存，可便捷提取大量繁多网页中的房地产数据，节省用户时间，提供给用户便捷的查询方式，便于用户根据数据进行行业分析作出决策。

技术领域

本发明涉及网络爬虫技术领域，特别涉及一种基于scrapy框架的房地产数据爬虫方法及装置。

背景技术

随着时代的进步，大多数房地产企业的营业模式已从线上经营改为线上经营，提供房地产相关数据的网页也异常烦多。因此如何从网络上获取大量房地产相关数据，从而为用户或商家提供更为简便的查询方式，成为一个重要的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于scrapy框架的房地产数据爬虫方法，能够便捷地爬取房地产数据，节省用户时间。

本发明还提出一种具有上述基于scrapy框架的房地产数据爬虫方法的基于scrapy框架的房地产数据爬虫装置。

本发明还提出一种具有上述基于scrapy框架的房地产数据爬虫方法的计算机存储介质。

根据本发明的第一方面实施例的基于scrapy框架的房地产数据爬虫方法，包括：特征提取步骤，对目标网页的数据进行分析，提取所述目标网页中房地产数据的位置特征及结构特征；代码生成步骤，根据所述目标网页构建相应的项目，根据所述位置特征及所述结构特征生成基于scrapy框架的爬虫代码；数据爬取步骤，在scrapy文件集的setting文件中设置信息头将本地IP地址转换成正常的访问地址，根据所述爬虫代码，爬取所述房地产数据并按预设的规则保存到文件或数据库中。

根据本发明实施例的基于scrapy框架的房地产数据爬虫方法，至少具有如下有益效果：通过对网页数据分析提取特征，根据特征自动生成相应爬虫代码，由爬虫代码爬取房地产数据并保存，可便捷提取大量繁多网页中的房地产数据，节省用户时间，提供给用户便捷的查询方式，便于用户根据数据进行行业分析作出决策。

根据本发明的一些实施例，所述特征提取步骤还包括：对目标网页的数据进行分析，提取所述目标网页中房地产数据的分页特征。提取分页特征，防止爬取数据不完整。

根据本发明的一些实施例，所述代码生成步骤还包括：根据所述分页特征，得到下一分页的相对链接，判断所述相对链接是否为None，根据判断结果提取下一分页的所述房地产数据。根据相对链接生成分页链接，提供获取分页数据的方法，获取的房地产数据更完整精确。

根据本发明的一些实施例，所述代码生成步骤还包括：根据所述分页特征，得到分页间的差异特征，根据所述差异特征生成分页的链接，获取分页的所述房地产数据。根据差异特征生成分页链接，提供获取分页数据的方法，获取的房地产数据更完整精确。

根据本发明的一些实施例，所述数据爬取步骤还包括：在scrapy文件集的setting文件中设置爬虫规则为无规则以及设置下载信息延迟DOWNLOAD_DELAY为1。设置爬虫规则为无规则时，在数据内容不遵守爬虫协议时仍可爬取；设置DOWNLOAD_DELAY为1，可确保数据无重复下载。

根据本发明的一些实施例，爬取的所述房地产数据内容包括：房源名、地址、户型、朝向、楼层信息、单价、总价及信息来源。这些数据内容有利于用户查询，便于商家根据数据分析行情做出决策。