[发明专利]基于资源约束代价敏感决策树构建方法

说明书

所属领域

本发明涉及人工智能、机器学习领域。

背景技术

在归纳学习技术中如何尽量减少误分类错误是主要焦点，例如CART和C4.5。在归纳问题上误分类不仅是一个错误。近来，研究工作人员已开始考虑了测试代价和误分类代价的问题。前工作人员假设测试代价和误分类代价在归纳过程中代价影响是相同的。在实际事例中，这两种代价影响是不一样的。不仅如此，在实际应用中，任何资源都是有限的，所以解决任何一个实际问题，都要在一定条件约束下完成。如，对于医疗数据进行训练时，通常假设给定一足够大的数据集，但事实上，这些数据往往不是免费而是要通过一定资源来换取，且训练器所能够担负的资源是有限的，也就是存在了资源约束。那么既然这些情况是不可避免，现就如何在资源约束下，获得相对最优的决策树模型。

发明内容

针对资源约束条件下，同时考虑测试代价以及误分类代价影响因子，本发明提出了一种基于资源约束代价敏感决策树构建方法

本发明所采用技术方案：利用EP准则先把训练集多类标识为两类，在T_S＜ω条件下，再根据选择属性代价增益率为目标函数：这个准则，f越大属性特征越好，则此属性作为结点或是扩展结点。最后形成的决策树，为了避免过度拟合的问题，用后剪支算法优化决策树。

本发明的有益效果是：

1，得到的决策树，测试成本低

2，得到的决策树，误分类代价低

3，在缺失值情况下，也可以得到优化的决策树模型。

4，在资源约束条件下，可以获得更优化的决策树模型。

附图说明

图1基于资源约束代价敏感决策树构建流程图

图2基于EP准则实现的两类结点图

具体实施步骤

为解决资源约束条件下，同时又可以获得更好的测试代价和误分类代价，本发明结合图1-图2对本发明进行详细说明：

步骤1.设训练集中有X个样本，属性个数为n，即n＝(s₁，s₂，…s_n),同时分裂属性s_r对应了m个类L，其中L_i∈(L₁，L₂…，L_m),r∈(1，2…，n)，i∈(1，2…，m)。相关领域用户设定好误分类代价矩阵C,L利用EP准则对类进行处理得到误分类代价矩阵C′。

步骤2：创建根节点G。

步骤3：如果训练数据集为空，则返回结点G并标记失败。

步骤4：如果训练数据集中所有记录都属于同一类别，则该类型标记结点G。

步骤5：如果候选属性为空，则返回G为叶子结点，标记为训练数据集中最普通的类。

步骤6：根据属性S的代价增益率f函数从候选属性中选择splitS。

目标函数f：

w为总误分类代价函数，T_S为选择属性S总代价函数，C_S为选择属性S资源损耗代价函数。

在T_S＜ω条件下，当选择属性splitS满足f函数越大时，则找到标记结点G。

步骤7：标记结点G为属性splitS。

步骤8：由结点延伸出满足条件为splitS＝splitS_i分支。

8.1这里假设Y_i为训练数据集中splitS＝splitS_i的样本集合。如果Y_i为空，加上一个叶子结点，标记为训练数据集中最普通的类。

步骤9：非8.1中情况，则递归调用步骤6至步骤8。

步骤10：利用后剪支技术解决此决策树模型中过度拟合问题。

后剪支目标函数为总测试代价减少率：

用户自定义一个减少率因子α。

其中，TTC是剪支之前的初始树的总平均测试代价，TTC′为剪支之后的总平均测试代价，当r(TTC)越大直到满足以下条件，我们就实施剪支操作：

r(TTC)＞α

其中正数α为用户指定达到的条件，剪枝的条件首先要满足尽可能使代价减损达到用户指定条件，然后满足测试代价降低到用户要求。

步骤11：更新训练数据集，保存新的示例数据。

所述步骤1基于EP准则求解两类节点具体计算过程如下：

1.1误分类代价矩阵C

类别标识个数为m，则该数据的代价矩阵m×m方阵是：