[发明专利]集成多元线性回归算法

权利要求书

1.集成多元线性回归算法，其特征在于：包括如下步骤，

第一步:已知训练集L_train＝{(X_k,Y_k):X_k∈Rⁿ,Y_k∈R,k＝1,...,N}，令θ表示叶节点最少样本个数；

第二步:以分裂后的两个样本子集在输出变量上具有最小均方误差为分裂准则，以“如果叶节点样本个数＜θ，将停止分裂”终止准则，建立具有二叉树结构的回归树，即训练样本从根节点开始，根据某个特征的分段函数，被划分到左、右两个支路上形成父节点，同理又从父节点继续往下划分，直到满足终止条件成为叶节点；

第三步:以回归树叶节点为样本子集，令表示由L_Train产生的P个样本子集，其中表示训练子集L_i的样本个数；以MLR算法为子模型的学习算法，在样本子集上建立子模型，并通过最小二乘算法估计每个子模型的参数；MLR算法的子模型为

第四步:预测时，新输入样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测输出值。

2.根据权利要求1所述的集成多元线性回归算法，其特征在于：第三步的通过回归树算法构造样本子集以及建立MLR局部子模型的过程包括：将数据的划分过程视为数据分析的非参数统计过程，依据某个特征的分段函数，任意样本只能被划分到左或右支路上，因此EMLRs产生相互独立的、无重叠的样本子集；以最小均方误差为分裂准则，使得根节点和内部节点上的样本进行非对称划分；以“叶节点样本个数＜θ”为终止准则，使得样本较少的内部节点较早成为叶节点，反之较晚，因此EMLRs的样本子集还具有样本个数不一致的非对称性特点；然后以叶节点为样本子集，建立基于MLR算法的局部子模型，并通过最小二乘算法估计每个子模型的参数。

3.根据权利要求1所述的集成多元线性回归算法，其特征在于：第四步的样本的分配或样本输出的融合过程包括：任一训练样本或新样本都会沿着树的一条路径到达某个叶节点；到达同一个叶节点上的样本，无论是输入变量还是输出变量都具有相似性；训练时，到达同一叶节点的训练样本构成一个样本子集，用于建立MLR子模型；预测时，新样本沿着树的一条路径到达某个叶节点，并使用该叶节点上的MLR子模型预测新样本输出值；使用MLR的连续预测值替代回归树有限个、离散的常数预测值，EMLRs可使每一个样本都有属于自己的预测值。