[发明专利]分类器构建方法和系统

说明书

技术领域

本发明涉及数据处理领域，特别是涉及一种分类器构建方法和系统。

背景技术

数据种类很多，如文本数据、视频数据、图像数据等，可采用随机森林分类模型对文本数据或视频数据或图像数据进行分类。随机森林分类模型是由一组决策树分类模型组成，对于一些数据分类问题，单一个体决策树分类模型无法满足分类的精度要求，而利用同一训练数据建立多个决策树，以多个个体决策树的分类结果确定最终分类结果的分类技术，可显著提高数据的分类精度，从而满足应用需求。

传统的随机森林分类模型构建时，从给定的一个训练数据中，采用有放回的随机抽样方法抽取建立K棵决策树的K个样本集，每个样本集的样本数与训练数据的样本数相同，但训练数据的同一样本可在单个样本集中重复出现。然后再用K个样本集构建K个决策树分类模型。该随机森林分类模型对维数不高的数据（如属性个数小于100）分类效果较好，对超高维的复杂数据，如几百个属性或千个以上属性的数据，构建的分类模型精度较低，无法满足应用需求。

发明内容

基于此，有必要提供一种能提高分类精度和降低误差的分类器构建方法。

一种分类器构建方法，包括以下步骤：

从数据集中抽取N个样本集；

将每个样本集作为根节点，求取每个根节点的属性空间中的M个属性的权重值，其中，M为属性的总数；

根据所述权重值从M个属性中采用加权抽样抽取m个属性，构成属性子空间，且m小于M；

采用划分函数从属性子空间的m个属性中选择最佳属性，然后根据所述最佳属性对根节点进行划分，产生子节点；

对每个样本集递归重复节点划分直至生成单个随机森林分类器；

根据N个单个随机森林分类器构建整体随机森林分类器。

在其中一个实施例中，所述求取每个根节点的属性空间中的M个属性的权重值的步骤具体为：

求取每个节点的属性空间中的每个属性与类别属性的相关性，将所述每个属性与类别属性的相关性作为所述每个属性的权重值。

在其中一个实施例中，还包括步骤：通过卡方检验公式或信息增益率公式求取每个属性与类别属性的相关性。

在其中一个实施例中，根据所述权重值从M个属性中采用加权抽样抽取m个属性，构成属性子空间的步骤具体为：

将每个属性的权重值求平方根，将每个平方根与M个属性的权重值的平方根和的比值，作为每个属性被抽取的概率；

根据所述每个属性的被抽取的概率从M个属性中抽取m个属性，构成属性子空间。

在其中一个实施例中，所述采用划分函数从属性子空间的m个属性中选择最佳属性的步骤具体为：

采用信息增益函数从属性子空间的m个属性中选择信息增益率最大的属性，将所述信息增益率最大的属性作为最佳属性。

此外，还有必要提供一种能提高精度和降低误差的分类器构建系统。

一种分类器构建系统，包括：

样本抽取模块，用于从数据集中抽取N个样本集；

权重求取模块，用于将每个样本集作为根节点，求取每个根节点的属性空间中的M个属性的权重值，其中，M为属性的总数；

属性抽取模块，用于根据所述权重值从M个属性中采用加权抽样抽取m个属性，构成属性子空间，且m小于M；

划分模块，用于采用划分函数从属性子空间的m个属性中选择最佳属性，然后根据所述最佳属性对根节点进行划分，产生子节点；

递归模块，用于对每个样本集递归重复节点划分直至生成单个随机森林分类器；

构建模块，用于根据N个单个随机森林分类器构建整体随机森林分类器。

在其中一个实施例中，所述权重求取模块还用于求取每个节点的属性空间中的每个属性与类别属性的相关性，将所述每个属性与类别属性的相关性作为所述每个属性的权重值。

在其中一个实施例中，所述权值求取模块还用于通过卡方检验公式或信息增益率公式求取每个属性与类别属性的相关性。

在其中一个实施例中，所述属性抽取模块包括：

概率计算单元，用于将每个属性的权重值求平方根，将每个平方根与M个属性的权重值的平方根和的比值，作为每个属性被抽取的概率；

抽取单元，用于从M个属性中根据所述每个属性的被抽取的概率抽取m个属性，构成属性子空间。

在其中一个实施例中，所述划分模块还用于采用信息增益函数从属性子空间的m个属性中选择信息增益率最大的属性，将所述信息增益率最大的属性作为最佳属性。