[发明专利]一种基于分层随机森林的变量重要性分析方法

权利要求书

1.一种基于分层随机森林的变量重要性分析方法，其特征在于，包括以下步骤：

S1、获取待处理数据集，所述待处理数据集中的每个样本具有多个变量；

S2、对所述待处理数据集进行预处理，剔除异常样本和空值；

S3、对预处理后的数据集，将其中的变量按照加工工序进行分组；

所述步骤S3包括：

将上游的化学成分变量作为第一工序的变量，将下游的工艺变量作为第二工序的变量，进行分组；

S4、抽样生成多个训练集，为每一个训练集建立分层决策树；

所述步骤S4包括：

利用Bootstrap抽样方法，采用多次有放回随机抽样技术从原始样本中抽取预定数量的样本，生成多个训练集；

对于多个训练集，首先对第一组变量利用最小化准则进行划分，得到第一层及其叶节点，然后以第一层的叶节点作为下一层的根节点，对下一组变量进行划分，最终建立分层决策树；

S5、将多棵分层决策树融合形成分层随机森林模型；

S6、利用Morris筛选法或Gini指数法结合分层随机森林模型进行变量重要性分析，生成变量重要性排序；

所述步骤S6包括：

对于连续质量问题，利用Morris筛选法结合分层随机森林模型对多工序加工过程进行变量重要性分析，利用基效应的绝对值均值来衡量变量的重要性；

将同一个变量在两次结果中的序号差作为距离，将所有变量的距离总和称为总距离，以总距离作为衡量波动性的指标，找到最合适的森林规模；

具体地，对于连续质量问题，利用Morris筛选法来进行变量重要性分析的具体计算步骤如下：

1)定义空间：

Ω:X＝X₁，X₂，…，X_k，X_i＝{0，1/p-1，2/p-1，…，1}；

在Ω中随机选择某样本作为出发点，运行一次模型，计算其输出；

2)改变该样本中变量i的取值，变化量Δ为1/(p-1)的倍数，p等于样本容量N或N+1，p为偶数，变化量Δ＝p/[2(p-1)]，确定Δ的正负，并将新样本放回Ω；再运行一次模型，计算其输出；

3)由步骤1)、2)的输出，计算基效应d_i(x)；

4)继续改变该样本点其他变量，计算输出；直至所有输入变量均得到变化，一共运行k+1次，k为变量个数；

5)重复步骤1)-4)，每次均从不同的起始点出发，共重复r次；则模型共运行了r(k+1)次；

6)按上述方法计算μ^*，作为衡量变量重要性的指标；其中，μ^*为各变量基效应分布的绝对值均值；

由于结果存在波动性，所以同一个变量在两次结果中的序号并不一定相同，将Rank₁和Rank₂中同一个变量的序号差作为距离，将所有变量的距离总和称为总距离D；即，采用Morris方法对分层随机森林模型进行分析，计算各变量重要性，将结果进行归一化并从大到小进行排序，重复操作一次，得到两个结果；变量X_i在两次结果中的序号为和规定距离总距离D＝∑d_i，将D作为衡量波动性的指标。

2.根据权利要求1所述的变量重要性分析方法，其特征在于，在所述步骤S1中，获取待处理数据集的方法为采用原始数据集或在原始数据集上随机抽取。

3.根据权利要求1所述的变量重要性分析方法，其特征在于，所述步骤S2还包括：

使用SMOTE过采样方法消除正常样本和异常样本的不平衡问题。

4.根据权利要求1所述的变量重要性分析方法，其特征在于，在对分层决策树的每个节点进行最佳变量选择时，并非全体变量参与选择，而是从全体变量中随机选择若干个变量参与选择。

5.根据权利要求1所述的变量重要性分析方法，其特征在于，所述步骤S6包括：

对于离散质量问题，利用Gini指数法结合分层随机森林模型对多工序加工过程进行变量重要性分析，产生变量重要性评分和排序。