[发明专利]一种基于交叉验证的单模型融合方法

说明书

本发明特别涉及一种基于交叉验证的单模型融合方法。该基于交叉验证的单模型融合方法，采用基本的机器学习方法，包括数据预处理，数据集划分，交叉验证，模型训练，预测和模型融合。该基于交叉验证的单模型融合方法，既利用了交叉验证来提升模型泛化性，又结合了多模型融合的思路对数据进行不同层面的挖掘；同时因为模型比较单一，结果通常比较鲁棒，预测效果优于单独一个模型或者一般的多模型融合方法。

技术领域

本发明涉及机器学习中模型训练与融合技术领域，特别涉及一种基于交叉验证的单模型融合方法。

背景技术

在人工智能发展的浪潮中，神经网络和深度学习的出现使得行业发展前进了一大步，但经典机器学习的方法得益于其训练效率高、所需数据少、可解释性强等优点，仍在某些领域起着不可替代的作用。

目前，经典机器学习模型的使用通常不外乎两种：单模型全量数据训练和多模型融合。其中单模型的使用通常上是使用全部训练集进行模型训练并对测试集进行预测，而多模型融合通常是基于多个同质或异质模型的voting、averaging、bagging、boosting、stacking等方法。

其中单模型全量数据训练的效果取决于训练集和测试集的分布是否一致。当分布一致时，往往效果很好，但这种情况并不多见；如果分布不一致，则模型训练效果取决于训练出的模型的泛化性，泛化性好的模型往往有较好的预测结果。一般情况下我们会通过调整超参数来增强模型泛化性，但常用的网格搜索所需计算力巨大，且容易对数据产生过拟合。

多模型融合通常是通过融合多个模型的决策面从而提升预测的准确度。通常会选用不同类型的模型进行训练，或者是同一个模型对训练数据的不同部分进行学习。这样做也是为了从不同角度挖掘出数据的特性，尽可能的学习到更多数据所蕴含的信息。但由于不同模型关注点不同，以及数据的不同部分所能得到的信息差异比较大，学习出来的融合模型也不一定会比单模型更加鲁棒和准确。

交叉验证在这两种模型使用方法中，通常只扮演调参和验证线下结果的作用。通过将训练集手动划分为k折，我们可以将其中一折作为测试集，从而保证模型的测试结果是对unseen的数据的预测，得到更加准确的评估，以此来调整参数。交叉验证显然还有提升模型的泛化能力的潜力，但在上述方法中并没有直接体现。

综上所述，现有的技术存在如下劣势：

1.单模型泛化能力不强，可能出现对数据观测不全面或者过拟合。

2.多模型计算复杂，不同模型之间的性质差异不好控制，不容易得到可靠的结果。

3.数据有限的情况下没法充分挖掘数据的潜在价值。

基于上述情况，本发明提出了一种基于交叉验证的单模型融合方法。可用于多种机器学习方法适用的场景，如基础的分类、回归任务，包括故障预警，金融欺诈，房价预测，信用评估等。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于交叉验证的单模型融合方法。

本发明是通过如下技术方案实现的：

一种基于交叉验证的单模型融合方法，其特征在于，包括以下步骤：

第一步，获取原始数据，包括训练集和测试集；

第二步，使用机器学习的数据处理方法进行数据清洗和数据预处理；

第三步，根据需求进行特征构造，将已有的数据转换为特征向量或矩阵，供模型学习；

第四步，将训练集进行k折划分，k为3、5或10；

第五步，通过k折交叉验证得到k个中间模型，并对测试集进行预测；

第六步，通过全量数据训练第k+1个模型，并对测试集进行预测；