[发明专利]基于房地产行业的大数据处理及系统

说明书

本发明实施例公开了一种基于房地产行业的大数据处理方法及系统，方法包括：通过网络爬虫获取原始数据；对原始数据进行数据清洗及筛选处理，以得到关键词数据库及房地产公众舆情数据库；根据关键词数据库及房地产公众舆情数据库建立训练模型；通过网络爬虫获取待处理数据；将待处理数据输入所述训练模型以得到处理结果。实施本发明实施例，实现了对数据的精细化处理，为后续基于该数据进行房地产行业预期的准确性提供了保证。

技术领域

本发明涉及大数据处理技术领域，具体涉及一种基于房地产行业的大数据处理方法及系统。

背景技术

目前，房地产行业的背景主要包括以下方面：

(1)外部环境因素的不确定性和复杂性：通过公众预期的调整，进一步影响房地产市场波动，这种不确定性越大，由预期引致的市场波动也将越为剧烈。由此可以认为，研究预期的测度、形成及其对房地产市场的作用机理，有助于深入认识房地产市场的波动规律；

(2)有效管理市场：公众预期管理是政策制定者最为重视的目标之一。研究公众预期的测度、形成及其对房地产市场的作用机理，有助于政府有效实施房地产调控，合理管理房地产公众预期和主体行为。

基于上述房地产行业的现状，有必要开展大数据环境下、房地产行业预期的研究。在基于大数据进行房地产行业预期时，由于对数据处理过于粗糙，因此难以保证后续基于大数据进行房地产行业预期的准确性。

发明内容

本发明实施例的目的在于提供一种基于房地产行业的大数据处理方法及系统，以对数据进行精细化处理，为后续基于该数据进行房地产行业预期的准确性提供保证。

为实现上述目的，第一方面，本发明实施例提供了一种基于房地产行业的大数据处理方法，包括：

通过网络爬虫获取原始数据，所述原始数据包括微博数据、网页数据、论坛数据以及贴吧数据；

对所述原始数据进行数据清洗及筛选处理，以得到关键词数据库及房地产公众舆情数据库；

根据所述关键词数据库及房地产公众舆情数据库建立训练模型；

通过网络爬虫获取待处理数据，所述待处理数据包括微博数据、网页数据、论坛数据以及贴吧数据；

将所述待处理数据输入所述训练模型以得到处理结果。

作为本申请一种优选的实施方式，对所述原始数据进行数据清洗及筛选处理，以得到关键词数据库具体包括：

采用文本处理技术对原始数据进行去噪、解析和分词，得到文本数据；

采用数据挖掘技术分析文本数据的属性，得到清洗数据；

针对不同地区设置影响因素，根据不同地区的影响因素对所述清洗数据进行筛选，得到初始数据；

根据地区下属的管辖区域对初始数据进行扩充，得到扩充数据；

定义扩充数据中的核心词条，针对核心词条对扩充数据中进行长尾关键词和短尾关键词的补充；

对所述初始数据以及补充后的扩充数据进行修正，以得到修正数据；

根据所述修正数据得到所述关键词数据库。

作为本申请一种优选的实施方式，对所述原始数据进行数据清洗及筛选处理，以得到房地产公众舆情数据库具体包括：

对所述原始数据进行中文分词，以确定文档特征；

基于所述文档特征进行情感分析，以得到房地产公众舆情数据库。

作为本申请一种优选的实施方式，大数据处理方法还包括：