[发明专利]基于Storm的决策树分类CVFDT并行化算法

摘要

本发明公开一种基于Storm的决策树分类CVFDT并行化算法，用于高效快速的获取实时流数据,从中提取出隐含的、未知的、潜在的和有用的信息，进行商用。通过Spout产生数据源，通过Bolt对数据进行传递和分析处理，最终构建出一个决策树的分类模型，构建出的模型随着传输数据流的变化而自动更新，更加具有实时性和高效性。

主权项

基于Storm的决策树分类CVFDT并行化算法，其特征在于，包括以下步骤：A1、启动一个Storm拓扑，设置喷发节点并分配并发数；A2、由ReadLogSpout产生训练样本流(x，y)并分配给ReadAttBolt，ReadAttBolt将数据转化为Instance类型并发送给CVFDTBolt；A3、CVFDTBolt初始化根节点、窗口W、替代子树集合，并将决策树模型根节点发送送给CheckingSplitBolt；A4、样本((x,y),ID)被添加到窗口W中，窗口未满则继续添加下一个样本直到窗口中样本数达到阈值w；A5、释放先到达的样本，删除释放的样本所经过节点的统计值N_ijk，其中i代表属性，j代表属性取值，k代表类别，N_ijk表示该节点对于每个属性i的每个属性值j，属于k类的样本的个数，然后从窗口中删除释放的样本以更新窗口；A6、当叶子节点中的样本数达到分裂所需的最小值，对当前节点中属性的信息增益进行计算，并在信息增益最高的属性上进行分裂，每一个属性值对应一个分枝；A7、当替代子树中的样本数达到用户输入的最小值f，统计接下来到达的测试样本，比较在此节点下所有替代子树的精度：如果某个替代子树的精度比原叶子节点高，则原叶子节点将被该替代子树替代；否则执行A8；A8、CVFDT决策树建树完成并随概念漂移更新。