[发明专利]集成多元线性回归算法

说明书

技术领域

本发明涉及集成多元线性回归算法,属于计算机应用技术领域。

背景技术

风洞是研究先进飞行器空气动力学特性的重要实验设备，随着各类新型航空航天飞行器的研制与更新，对风洞试验质量与效率的要求日益提高^[i，ⁱⁱ，^iii]。作为风洞试验的重要性能指标，马赫数的快速、准确预测对风洞流场品质的保证至关重要。由于风洞系统具有内部结构复杂、扰动繁多、各部分相互耦合等特点[i,^iv]，难以建立机理模型。因此，近年来，关于建立风洞马赫数预测模型的方法主要集中于数据驱动法。随着计算机科学技术的不断进步，数据采集及存储技术的持续发展，风洞试验中累积了越来越庞大而复杂的数据集。

针对大规模数据集的回归预测问题，有许多简单的学习算法可以考虑，如多元线性回归(Multiple Linear Regression-MLR)算法[^v]和回归树(Regression Tree)[^vi]。MLR算法是一种全局模型，它以简单的线性形式描述整个数据空间，当数据包含多个变量，而且变量之间存在复杂的非线性关系时，难以实现精确预测。决策树以类似流程图的树状结构来表示模型的训练结果，浅显易懂[^vii]。回归树是将决策树从分类问题拓展到回归问题，它通过分段线性化的方式描述输入、输出变量之间的非线性关系。训练样本从根节点开始，按照某种分裂准则，被分配到父节点上，同理又从父节点分配到叶节点上。同一个叶节点上的样本无论是输入变量还是输出变量都具有相似性。预测时，新样本沿着树的一条路径到达某个叶节点，然后以该叶节点上所有训练样本输出变量的平均值作为预测值。回归树具有简单、快速等优点，但对数据的依赖性强、泛化能力差。

使用传统的数据驱动法建立单一的风洞马赫数预测模型，所得到的预测效果无法令人满意。为了提高预测精度，王晓军等[i]将随机森林(Random Forest)[^viii]集成方法应用于风洞马赫数预测中。随机森林构建大小一致且独立同分布的有差异的样本子集，在解决回归问题时，选择回归树作为子模型的学习算法；在建立回归树子模型时，随机选择输入特征对内部节点进行分裂。然后将所有回归树子模型的预测输出进行简单平均，获得集成预测输出。实验结果表明随机森林马赫数预测模型取得了一定成果，但是随着更多工况的加入，采集到的数据量随之增大，数据复杂性逐渐提高，其预测能力反而在降低，所得到的预测结果已经无法令人满意。

发明内容

为了提高风洞马赫数的预测精度，本文提出了集成多元线性回归(Ensemble Multiple Linear Regressions，EMLRs)算法，为基于大规模数据集的风洞马赫数快速、准确预测问题的研究提供一种新的思路和方法。

本发明采取的技术方案如下：

集成多元线性回归算法，包括如下步骤，

第一步:已知训练集L_train＝{(X_k,Y_k):X_k∈Rⁿ,Y_k∈R,k＝1,...,N}，令θ表示叶节点最少样本个数；

第二步:以分裂后的两个样本子集在输出变量上具有最小均方误差为分裂准则，以“如果叶节点样本个数＜θ，将停止分裂”终止准则，建立具有二叉树结构的回归树，即训练样本从根节点开始，根据某个特征的分段函数，被划分到左、右两个支路上形成父节点，同理又从父节点继续往下划分，直到满足终止条件成为叶节点；

第三步:以回归树叶节点为样本子集，令i＝1,...,P表示由L_Train产生的P个样本子集，其中表示训练子集L_i的样本个数；以MLR算法为子模型的学习算法，在样本子集上建立子模型，并通过最小二乘算法估计每个子模型的参数；MLR算法的子模型为

第四步:预测时，新输入样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测输出值；EMLRs将回归树有限个、离散的常数预测值转变为MLR的连续预测，有利于模型预测精度的提升。