[发明专利]一种基于加权决策树的优化随机森林分类方法及系统

权利要求书

1.一种基于加权决策树的优化随机森林分类方法,包括离线训练和在线预测部分，其特征在于：

所述离线训练部分包括以下步骤：

(S1)重复在同一数据源中提取多次数据，得到多个样本数相同的训练集；

(S2)在每一训练集中，提取每个样本的特征向量和标签向量；

(S3)利用每一训练集的特征向量和标签向量训练随机森林分类模型，得到多个决策树；

(S4)对每一训练集，分别将其所有样本的同一特征构成特征向量，计算该特征向量与该训练集的标签向量之间的统计相关性，对所有特征对应的统计相关性进行叠加，叠加结果即为该训练集训练得到的决策树的投票权重；

所述在线分类部分包括以下步骤：

(T1)按照投票权重由高到低选取决策树依次对待分类数据进行分类，将决策树的投票权重作为其分类所得类别的投票数，实时计算各类别的投票总数，如某一类别所得投票总数超过预定阈值，则停止分类，该类别即为最终分类结果。

2.根据权利要求1所述的基于加权决策树的优化随机森林分类方法,其特征在于：所述统计相关性采用相关系数、卡方、互信息中的任意一种统计学度量指标来计算。

3.根据权利要求1或2所述的基于加权决策树的优化随机森林分类方法,其特征在于：所述预定阈值为所有决策树的投票权值之和的一半。

4.一种基于加权决策树的优化随机森林分类系统,包括离线训练模块和在线预测模块，其特征在于：

所述离线训练模块包括以：

训练子集提取子模块，用于重复在同一数据源中提取多次数据，得到多个样本数相同的训练集；

特征标签提取子模块，用于在每一训练集中，提取每一样本提取特征向量和标签向量；

决策树训练子模块，用于利用每一训练集的特征向量和标签向量训练随机森林分类模型，得到多个决策树；

投票权重计算子模块，用于对每一训练集，分别将其所有样本的同一特征构成特征向量，计算该特征向量与该训练集的标签向量之间的统计相关性，对所有特征对应的统计相关性进行叠加，叠加结果即为该训练子集训练得到的决策树的投票权重；

所述在线分类模块,用于按照投票权重由高到低选取决策树依次对待分类数据进行分类，将决策树的投票权重作为其分类所得类别的投票数，实时计算各类别的投票总数，如某一类别所得投票总数超过预定阈值，则停止分类，该类别即为最终分类结果。

5.一种基于加权决策树的优化随机森林分类方法,包括离线训练和在线预测部分，其特征在于：

所述离线训练部分包括以下步骤：

(S1)重复在同一数据源中提取多次数据，得到多个样本数相同的训练集；

(S2)在每一训练集中，提取每个样本的特征向量和标签向量；

(S3)利用每一训练集的特征向量和标签向量训练随机森林分类模型，得到多个决策树；

(S4)将数据源中没被提取过的数据作为袋外数据,利用袋外数据测试决策树的性能，得到各决策树的投票权重：S₊为决策树利用袋外数据预测正确的样本数量，S表示袋外数据的样本总量，α_o为决策树的归一化因子；

所述在线分类部分包括以下步骤：

(T1)按照投票权重由高到低选取决策树依次对待分类数据进行分类，将决策树的投票权重作为其分类所得类别的投票数，实时计算各类别的投票总数，如某一类别所得投票总数超过预定阈值，则停止分类，该类别即为最终分类结果。

6.根据权利要求5所述的基于加权决策树的优化随机森林分类系统,其特征在于：所述为决策树的归一化因子α_o＝1/所有决策树的权重之和，

7.根据权利要求5所述的基于加权决策树的优化随机森林分类系统,其特征在于：所述统计相关性采用相关系数、卡方、互信息中的任意一种统计学度量指标来计算。

8.根据权利要求5或6或7所述的基于加权决策树的优化随机森林分类系统,其特征在于：所述预定阈值为所有决策树的投票权值之和的一半。