[发明专利]多标准误分类代价敏感决策树构建方法

摘要

本发明提出一种多标准误分类代价敏感决策树构建方法，联合误分类代价和属性信息—ASF(S)作为候选属性选择标准，选择更小ASF(S)值作为节点G，根据分裂因子指标来选择满足条件的分支。循环执行上述操作，就可以遍历整个训练样本集。本发明用于在决策树建立过程中把不同单位机制的误分类代价量化为同一单位，同时解决了误分类代价机制与属性信息之间异质性问题，最后生成的决策树避免了过拟合问题、同时分类精度得到更好的提高以及降低了误分类代价。

主权项

多标准误分类代价敏感决策树构建方法，该方法涉及人工智能、数据挖掘和机器学习领域，其特征是，包括如下步骤：步骤1：设训练集中有X个样本，属性个数为n，即,同时分裂属性对应了m个类L，其中,,，设误分类代价矩阵为C，C由用户指定；类别标识个数为m，则该数据的代价矩阵方阵是：其中表示第类数据分为第i类的代价，如果为正确分类，则,否则为错误分类，其值由相关用户给定,这里；步骤2：创建根节点G；步骤3：如果训练数据集为空，则返回节点G并标记失败；步骤4：如果训练数据集中所有记录都属于同一类别，则以该类型标记节点G；步骤5：如果候选属性为空，则返回G为叶子节点，标记为训练数据集中最普通的类；步骤6：根据代价敏感的候选属性选择因子ASF候选属性中选择splitS；候选属性选择因子ASF：averagegain(S)为选择属性S的平均信息增益，reduce_mc(S)为选择属性S作为分裂属性时的误分类代价减少率；当选择属性splitS满足目标函数ASF(S)最小时，则找到标记节点G,如果一些属性具有相同的ASF值，为了打破平局的标准，再按照更大的reduce_mc(S)值来优先选择候选属性，这样构建的决策树优先遵从误分类代价最低的原则；步骤7：标记节点G为属性splitS；步骤8：由根据基尼指数值延伸出满足条件为分支，分支基尼指数设训练数据集X,其类有m个，那么其gini指标为：其中为分裂属性属于类的相对频率，当，即在此结点处所有样例都属于同一类，表示能得到最大有用信息；当此结点所有样例对于类别字段来讲均匀分布时，最大，表示能得到最小的有用信息；8.1这里假设为训练数据集中的样本集合，满足以下两条件之一，则终止建树；（1）如果为空，加上一个叶子节点，标记为训练数据集中最普通的类；（2）在一节点中所有例子属于相同类；步骤9：非8.1中情况，则递归调用步骤6至步骤8；步骤10：为避免决策树中存在过渡拟合问题，利用后剪支技术对决策树进行剪支操作。