[发明专利]基于变长度粒子群优化算法的极限学习机

说明书

技术领域

本发明涉及一种利用变长度粒子群的优化算法进行优化改进的极限学习机，属于极限学习机技术领域。

背景技术

单隐层前馈神经网络(SLFN：Single-hidden Layer Feedforward Neural Network)可以任意精度逼近任意复杂的函数，1998年在《IEEE Transactions on Neural Networks》(IEEE神经网络学报)第9卷224-229页发表的《具有任意有界非线性激活函数的前馈神经网络的隐层神经元个数的上界》的研究表明，具有任意非线性激活函数的单隐层前馈神经网络至多需要N个隐层神经元就可以以零误差学习N个不同的样本，具有强大的非线性辨识能力，SLFNs己被广泛应用于模式识别、函数逼近、系统建模和控制等领域。

SLFNs大多采用梯度下降法进行参数学习，收敛速度慢，且容易陷入局部极小值。针对这一问题，2004年南洋理工大学Huang Guangbin等在《Proceedings ofIEEE International Joint Conference on Neural Networks》(IEEE神经网络国际会议论文集)第2卷985—990页发表的《Extreme learning machine：a new learning scheme of feedforward neural networks》(极限学习机：一种新的前馈神经网络学习方法)提出了一种简单易用、有效的单隐层前馈神经网络学习算法一极限学习机(ELM：Extreme Learning Machine)，只需要设置隐层节点个数，输入权值和隐元偏置随机初始化给定，输出权值利用广义逆解析计算得到，与传统的BP算法相比，ELM算法不需迭代、学习效率高、精度高、参数调整简单，受到了广泛关注。

传统的ELM基于训练误差最小化原理，输出权重直接由最小二乘估计方法得出，在训练样本少或者训练样本不均衡的情况下，会出现过拟合问题，导致泛化性能降低；初始定义的参数(隐层神经元个数、随机生成的输入权值和隐元偏置)对神经网络的泛化性能影响很大，特别是在训练样本不均衡或者训练样本少的情况；在实际应用过程中，为了达到理想精度，需要设置大量的隐层神经元个数，也会导致泛化性能的降低。所以，近年来研究者们提出了许多改进的ELM方法以提高ELM分类器的泛化性能。

2013年《Neurocomputing》(神经计算)在101卷229-242页发表的《Weighted extreme learning machine for imbalance learning》(解决不平衡学习的加权极限学习机)针对不均衡样本问题，通过为每一样本分配权重，强化样本少的类别对分类器的影响，同时弱化样本多的类别对分类器的影响。2012年《Soft Computing》(软计算)在16卷1493—1502页发表的《Dynamic ensemble extreme learning machine based on sample entropy》(基于样本熵的动态合成极限学习机)应用AdaBoost将训练集分类，为每一训练子集训练一个ELM分类器，然后，基于样本熵动态合成策略将测试样本进行分类，会减轻过度学习训练样本带来的过拟合问题。2012年《Information Sciences》(信息科学)在185卷66-77页发表的《Voting based extreme learning machine》(基于投票机制的极限学习机)提出单独训练多个具有相同网络结构的ELM分类器，再基于多数投票方式确定最终的分类结果，提高分类精度。上述改进算法通过对训练样本加权、或者应用多分类器提高分类精度，而没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。

CNl0306519lA公开的《一种快速的神经网络学习方法》和CNl02708381A公开的《融合最小二乘向量机回归学习思想的改进极限学习机》通过在代价函数中综合考虑训练误差所代表的经验风险和输出权重范数所代表的结构风险，修正计算输出权重，优化泛化性能，也没有涉及ELM的输入权重、隐元偏置和隐元个数的最优选择问题。