[发明专利]一种基于大数据的区域房屋租金预测方法

权利要求书

1.一种基于大数据的区域房屋租金预测方法，其特征在于：包括以下几个步骤：

Q1、对房屋数据清洗，即在房屋数据中，对缺失值进行处理；对城市与省份无法对应的记录进行修正；将租金值低于200与租金值高于5000的数据去除；将租金值为“面议”的数据去除；将房屋面积高于200的数据去除；将楼层值不详的数据去除；

Q2、将房屋数据划分训练集、测试集，采用留出法将数据集划分为两个互斥的子集，采用五折交叉验证对模型进行验证，即一个集合作为训练集S，包含50％的样本，另一个作为测试集T，包含50％的样本，即假设数据集为D，则D＝S∪T，在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计，训练集和测试集需要保留基本一致的正负样本比例；

Q3、对清洗后的房屋数据进行特征工程操作，对房屋特征数据完成基础特征、距离特征、统计特征、GBDT离散特征的特征工程构建；

所述基础特征包括：房屋结构；房屋楼层高度；房屋总楼层；房屋朝向；房屋面积；房屋所在省市；房屋所在地区；房屋所在小区；房屋所提供的家具；房屋出租类型；房屋租金支付方式；所提供的房屋图片数量；对于房屋的客厅个数、卧室个数、洗手间个数、房屋面积大小、整个楼栋的层数、房屋描述图片个数直接使用数值；房屋所在城市、所在省份、房屋所在区域、房屋所在层数、房屋缴费方式、出租方式采用one-hot处理后使用数值；房屋家具个数进行n-hot处理后使用数值；

所述距离特征，根据房屋所在小区的经纬度距离最近的大学、商圈、地铁的经纬度，计算房屋距离最近大学、商圈、地铁的距离，由距离特征直接作为特征值使用；

统计特征：统计房屋类型所在层出现的次数，出租方式出现的次数，用以反映出房屋租金价格和出租方式、所在层数的关系；

gbdt离散特征，将基础特征、距离特征离散特征值；

Q4、对特征工程构建完成的样本集进行特征选择：

Q4-1、利用模型进行特征选择，训练一个XGBoost模型，输出其特征重要性，然后将重要性为0的特征删除，即完成了特征选择；

Q4-2、利用wrapper特征选择，从特征构建完成后的数据中选择初始特征子集，利用评价函数对其进行评价，反馈，然后继续评价，最终寻找出最优特征子集；

Q4-3、两种特征选择做完以后，选取两部分特征交集作为最终的模型的特征

Q4-4、采用三角矩阵的稀疏存储保证特征信息丢失较少的情况下，加快模型的训练过程；

Q5、建立多个机器学习模型，并进行模型融合：

Q5-1、XGBOOST模型，通过参数随机扰动产生多个xgboost模型，首利用xgb_1确定了一组R2评分达到0.64的参数，其中subsample参数取值为0.7，迭代次数500，min_child_weight为3，colsample_bytree为0.7，XGBoost模型参数在默认参数乘以随机系数，系数范围为0.8～1.2，生成多个不同的XGBoost模型，根据十折交叉验证得到每个模型的R2得分，选取Top K个XGBoost作为多模型的输出，这里的K值取20；

Q5-2、多模型STACKING融合，训练三个基础模型RandomForest,XGBOOST,GBDT,将这三个模型作为Stacking的第一层，将每个模型的预测结果作为特征，放入到stacking第二层，第二层使用的模型为LinearRegression；

Q5-3、最终结果以Q5-1和Q5-2均值融合；

Q6、对房屋租金进行预测。

2.根据权利要求1所述的一种基于大数据的区域房屋租金预测方法，其特征在于：所述Q2中，将房屋所在小区进行经纬度转换，若无法查询到该小区的经纬度则利用该小区所在城市的经纬度进行替代。

3.根据权利要求1所述的一种基于大数据的区域房屋租金预测方法，其特征在于：Q4中，在特征选择前对特征进行降维的处理，从而达到对特征进行重组以删除冗余特征的目的：

利用奇异值对构建后的特征进行降维，奇异值利用对称矩阵来对特征进行降维处理，首先将特征表征为一个大的矩阵M，然后将特征矩阵利用正交基进行映射，映射完成之后，所得到的特征即为降维后的特征，具体为：

对于m×n的矩阵M,进行奇异值分解

取其前r个非零奇异值，可以还原原来的矩阵M，即前r个非零奇异值对应的奇异向量代表了矩阵M的主要特征，可以表示为

其中，M为方阵，U为单位矩阵，V^T为M^TM的特征向量，U为MM^T的特征向量。