[发明专利]基于房地产行业的大数据处理及系统

权利要求书

1.一种基于房地产行业的大数据处理方法，其特征在于，包括：

通过网络爬虫获取原始数据，所述原始数据包括微博数据、网页数据、论坛数据以及贴吧数据；所述微博数据包括媒体层面数据、企业层面数据、政府层面数据、研究机构数据以及个人层面数据；所述媒体层面数据来源于房产网、官方、微信、周刊、栏目节目和信息平台，所述企业层面数据来源于地产公司，所述政府层面数据来源于房产管理处、建设局、交易中心和国土资源规划中心，所述研究机构数据来源于协会、研究院和高校，所述个人层面数据来源于个人的微博平台；

对所述原始数据进行数据清洗及筛选处理，以得到关键词数据库及房地产公众舆情数据库；

根据所述关键词数据库及房地产公众舆情数据库建立训练模型；

通过网络爬虫获取待处理数据，所述待处理数据包括微博数据、网页数据、论坛数据以及贴吧数据；

将所述待处理数据输入所述训练模型以得到处理结果；其中，对所述原始数据进行数据清洗及筛选处理，以得到关键词数据库，具体包括：

采用文本处理技术对原始数据进行去噪、解析和分词，得到文本数据；去噪、解析用于根据语法去掉原始数据中多余的词组，包括连接词和语气词；分词用于将长句分成多个词组；

采用数据挖掘技术分析文本数据的属性，得到清洗数据；

针对不同地区设置影响因素，根据不同地区的影响因素对所述清洗数据进行筛选，得到初始数据；所述影响因素包括供给层面和需求层面，供给层面包括土地供给与使用、房地产开发投资情况、房地产开发建设情况，需求层面包括销售情况和成交需求，所述土地供给与使用包括土地供给、土地使用和土地购置面积，所述房地产开发投资情况包括开发贷款、开发资金、资金结构、各类投资、信贷来源和资金链，所述房地产开发建设情况包括新开工、竣工、待售、供给和建设，所述销售情况包括销售额、销售面积、购房支付能力和购房意愿，所述成交需求包括投资需求、投机需求、刚性需求和改善性需求；

根据地区下属的管辖区域对初始数据进行扩充，得到扩充数据；

定义扩充数据中的核心词条，针对核心词条对扩充数据中进行长尾关键词和短尾关键词的补充；具体为，结合百度搜索、百度指数工具、百度竞价后台的关键词规划师、SEO工具围绕核心词条补充长尾关键词和短尾关键词；

对所述初始数据以及补充后的扩充数据进行修正，以得到修正数据；

根据所述修正数据得到所述关键词数据库；

对所述原始数据进行数据清洗及筛选处理，以得到房地产公众舆情数据库，具体包括：

对所述原始数据进行中文分词，以确定文档特征；

基于所述文档特征进行情感分析，以得到房地产公众舆情数据库，采用GraphPropagation Algorithm结合word2vec方法进行情感分析。

2.如权利要求1所述的基于房地产行业的大数据处理方法，其特征在于，所述大数据处理方法还包括：

根据预测类型和非预测类型对所述房地产公共舆情数据库进行标签，所述预测类型包括涨、跌和平。