[发明专利]基于MCP罚函数的小世界回声状态网络时间序列预测方法

说明书

本发明公开一种时间序列预测方法，通过在小世界回声状态网络的构建中采用MCP惩罚模型优化小世界回声状态网络的输出权重，解决常规回归方法计算权重时出现的过拟合问题，选择LQA近似分解MCP罚函数，求得模型的近似解，解决MCP罚函数在原点不可导问题，并且提出基于融入交叉和排挤策略的人工蜂群算法优化MCP惩罚模型的超参数，保证优化参数的全局最优性的同时提高收敛有效性，以此提高MCP惩罚模型的有效压缩能力，此方法在非线性时间序列预测中具有较高的应用价值。

技术领域：

本发明涉及一种时间序列预测方法，具体涉及基于MCP罚函数的小世界回声状态网络时间序列预测方法。

背景技术：

时间序列预测已经在工业、金融、军事等领域中得到了广泛的应用，由于实际生活中的时间序列大多呈现非线性和不稳定性，因此对于非线性和不稳定时间序列的预测问题一直备受各个领域中研究学者的关注。目前，对于非线性和不稳定时间序列进行预测的主要方法之一是采用回声状态网络(Echo State Network，ESN)。ESN的特点是在训练时只需训练储备池至输出层的输出权重，解决传统神经网络存在的易陷入局部最优、训练算法复杂等问题。因此，计算输出权重是回声状态网络学习的关键。

传统ESN在计算输出权重时通常采用伪逆法、Ridge回归法或Lasso回归法，在处理高维非线性数据时易出现共线性问题和过拟合问题。因此，为了解决以上问题并满足对非线性和不稳定时间序列准确有效的预测需求，需要一种方法进一步优化ESN的输出权重，本案由此而生。

发明内容：

为了满足回声状态网络对于非线性和不稳定时间序列预测需求，本发明提出一种基于融入交叉和排挤策略人工蜂群的MCP-SWESN时间序列预测方法，更适合高维非线性数据的处理，能够优化上述现有技术中出现的共线性和过度拟合问题。

为了实现上述发明目的，本发明所采用的技术方案为：

基于MCP罚函数的小世界回声状态网络时间序列预测方法，内容包括：

步骤1：设置小世界回声状态网络参数、输出权值优化方案参数、误差阈值、最大迭代次数，并输入历史时间序列样本；

步骤2：小世界回声状态网络构建，获得输出权重初值并开始训练；

步骤3：判断训练误差与设定阈值的关系，若训练误差小于等于设定阈值则训练结束，若训练误差大于设定阈值则进行输出权值的优化；

对输出权值优化时，先构建MCP惩罚模型，然后采用局部二次近似算法对MCP罚函数进行求解，对MCP惩罚模型的超参数采用基于融入交叉和排挤策略的人工蜂群算法进行优化；

步骤4：获得更新的输出权重后开始训练，并判断迭代次数与最大迭代次数的关系，若迭代次数小于等于最大迭代次数，则返回步骤3，若迭代次数大于最大迭代次数，则结束训练。

进一步，所述步骤2中的小世界回声状态网络构建的具体内容包括：设置小世界回声状态网络规模以及储备池的拓扑结构；输入权重矩阵W_in、储备池内部权重矩阵W_x随机生成，确定后训练时不再改变，初始化输出权重矩阵W_out，开始训练获得输出权重初值；

小世界回声状态网络的状态方程和输出方程分别为：

x(t)＝f(W_inu(t)+W_xx(t-1)) (1)

y(t)＝x^T(t)W_out (2)

其中,u(t)、x(t)和y(t)分别表示储备池t时刻的输入变量、状态变量和输出变量；激活函数f取双曲正切tanh函数；