[发明专利]一种基于萤火虫算法的选择性集成学习方法

说明书

技术领域

本发明涉及数据挖掘中集成学习领域，具体的说是一种基于萤火虫算法的选择性集成学 习方法。

背景技术

针对集成学习来说,参与集成的个体的精度越高,差异度越大,越有利于提高集成的泛化 性能,然而如何在个体的精度与个体间的差异度之间寻求一种平衡以达到提高集成泛化性能 的目的是众多学者研究的初衷。周志华等人在研究神经网络集成时，率先提出了一种“Many couldbebetterthanall”(“部分可能比全体结果更好”)的思想，认为在独立训练生成若干个 个体分类器后,并不一定需要把所有的个体都集成起来，选择其中的部分个体进行集成,可以 得到比使用所有分类器构成的集成更好的泛化性能，把这种集成称为选择性集成。

现有的经典选择性集成算法主要从两个角度进行考虑：(l)将求最优集成看成是最优化问 题，采用优化算法来获得最优集成，周志华将遗传算法首先在神经网络集成中得到了验证； (2)将求最优集成看成是聚类问题，李凯、黄厚宽等提出了一种基于聚类技术的选择性神经网 络集成算法，通过采用聚类算法将近似的个体聚成一类，以达到去除近似个体的目的。

然而上述选择性集成算法存在如下缺陷：

遗传算法在寻优过程中，对初始种群的选择具有一定的依赖性，初始种群的选择会影响 优化的速度和性能，并且遗传算法的时间复杂度较高；

(2)使用聚类方法，聚类中心的随机选取、聚类簇数的确定等对聚类结果都有一定的影响， 而这也会间接影响到集成的泛化性能和集成学习的稳定性。

发明内容

本发明为克服现有技术存在的不足之处，提出一种基于萤火虫算法的选择性集成学习方 法，以期能使用离散型萤火虫算法对集成中的个体分类器的权重进行优化，克服传统的连续 型权重的选择性集成中权重阈值的选择问题，减少个体分类器的个数，降低集成规模，从而 提高集成的泛化性能，降低时间复杂度。

为解决上述技术问题，本发明所采用的技术方案是：

本发明一种基于萤火虫算法的选择性集成学习方法的特点是将萤火虫算法应用于支持向 量机的选择性集成学习中，并按如下步骤进行：

步骤1、将样本划分为训练集、验证集和测试集；并在所述训练集上利用bootstrap抽样 方法和支持向量机进行训练，获得D个个体分类器；

步骤2、在所述验证集上利用萤火虫算法对所述D个个体分类器进行选择性集成学习， 获得优选的个体分类器；

步骤3、利用所述测试集对所述优选的个体分类器进行测试，获得分类准确率。

本发明所述的基于萤火虫算法的选择性集成学习方法的特点也在于：

所述步骤2是按如下过程进行：

基本参数定义：

假设一个萤火虫群中有n个萤火虫，第i个萤火虫个体记为x_i，i＝1,…,n，并有 x_i＝[x_i1,x_i2,…,x_ik,…,x_iD]，x_ik代表第i个萤火虫x_i赋予第k个个体分类器的权值，x_ik∈[0,1]， k＝1,2,…,D，若权值x_ik＝1表示第i个萤火虫x_i选择第k个个体分类器，权值x_ik＝0表示第i个 萤火虫x_i不选择第k个个体分类器；

定义所述n个萤火虫中第i个萤火虫的荧光素挥发因子为ρ、荧光素更新率为γ、动态决策域更新率为β、邻域集内包含的萤火虫数目的阈值为T、感知半径为θ、初始荧光素值为l_i(0)、初始动态决策域半径为初始位置为x_i(0)＝{x_i1(0),x_i2(0),…,x_ik(0),…,x_iD(0)}；

定义迭代次数为t；最大迭代次数为iter_max；

步骤1、初始化：

初始化萤火虫数目n、荧光素挥发因子ρ、荧光素更新率γ、动态决策域更新率β、感 知半径θ、邻域集内包含的萤火虫数目的阈值为T、最大迭代次数iter_max；