[发明专利]一种使用遗传算法优化极限学习机的集成框架方法

说明书

技术领域

本发明属于计算智能、神经网络技术领域，涉及一种使用遗传算法优化极限学习机的集成框架方法。

背景技术

极限学习机是一种简单而又有效的训练单隐层前馈神经网络的方法，与传统神经网络学习算法使用类似梯度下降之类的方法调整网络中参数不同的是，极限学习机随机产生输入参数及隐含层的阈值，然后输出权值通过Moore-Penrose广义逆矩阵计算出来。通过以上过程得到的极限学习机，不仅拥有很小的训练误差，同时也拥有很小的输出权值范数。根据Barlett的理论，在前馈神经网络中，当训练误差很小的时候，输出权值的范数越小，泛化能力越好。因此，极限学习机拥有良好的泛化能力。因为不需要调整参数，所以极限学习机的学习速度非常快。但是由于一些参数是随机产生的，不可避免的一些较为差的参数被随机出来从而影响整个极限学习的稳定性及泛化能力，而且使用整个训练集进行训练，有可能出现过适应问题。

神经网络的集成是通过使用多个神经网络共同对同一问题进行预测，它们通过不同的神经网络预测的结果通过一定方式组合起来作为最后的结果。实验及理论表明，通过集成许多神经网络共同作出预测，可以有效的避免单个神经网络的错误。现在应用较为广泛的集成方法如Bagging、Boost，都没有充分利用极限学习机的特点，而且实验结果表明通用的集成方法对极限学习机泛化能力的提升并不是那么明显。

发明内容

为解决上述极限学习机易随机出较差的随机参数及可能的过适应问题，本发明的目的在于提供一种使用遗传算法优化极限学习机的集成框架方法，利用遗传算法训练优化极限学习机并将其集成的计算框架，充分利用的极限学习机的特点，在可接受的训练时间内，泛化能力和网络稳定性得到了显著提高。

为实现上述目的，本发明的技术方案为：

一种使用遗传算法优化极限学习机的集成框架方法，包括如下步骤：

S10：将极限学习机随机产生的输入权值及隐含层节点阈值编码成遗传算法个体，使用遗传算法随机出初始种群；

S11：从整个训练集随机抽取出的一部分训练样本组成验证测试集，并使用验证测试集计算出每个个体的适应度；

S12：使用交叉变异等遗传操作，产生与父代种群数相同的新种群；

S13：从现有的两个种群中选择适应值优秀个体，进入下一代；

S14：判断是否达到迭代次数，如果未达到迭代次数，则跳转到步骤S11；

S15：将遗传算法留下种群中的个体按照适应值排序，保留集成数2倍的适应值优秀个体；

S16：将保留个体按照输出权值的范数进行排序，保留其中输出权值范数小的一半；

S17：将最终选择的极限学习机集成。

进一步地，步骤S10中，每个个体的格式为：

θ=[w₁₁,w₁₂,...,w_1L,w₂₁,...w_n1,...,w_nL,...,b₁,b₂,...,b_L]

L为输入层节点数,为极限学习机中第i个输入层节点与第j个隐含层节点的连接权值，b_i为第i个隐含层节点的阈值。

进一步地，步骤S11中，适应度公式为：