[发明专利]基于MCP罚函数的小世界回声状态网络时间序列预测方法

权利要求书

1.基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：包括以下内容：

步骤1：设置小世界回声状态网络参数、输出权值优化方案参数、误差阈值、最大迭代次数，并输入历史时间序列样本；

步骤2：小世界回声状态网络构建，获得输出权重初值并开始训练；

步骤3：判断训练误差与设定阈值的关系，若训练误差小于等于设定阈值则训练结束，若训练误差大于设定阈值则进行输出权值的优化；

对输出权值优化时，先构建MCP惩罚模型，然后采用局部二次近似算法对MCP罚函数进行求解，对MCP惩罚模型的超参数采用基于融入交叉和排挤策略的人工蜂群算法进行优化；

步骤4：获得更新的输出权重后开始训练，并判断迭代次数与最大迭代次数的关系，若迭代次数小于等于最大迭代次数，则返回步骤3，若迭代次数大于最大迭代次数，则结束训练。

2.根据权利要求1所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤2中的小世界回声状态网络构建的具体内容包括：设置小世界回声状态网络规模以及储备池的拓扑结构；输入权重矩阵W_in、储备池内部权重矩阵W_x随机生成，确定后训练时不再改变，初始化输出权重矩阵W_out，开始训练获得输出权重初值；

小世界回声状态网络的状态方程和输出方程分别为：

x(t)＝f(W_inu(t)+W_xx(t-1)) (1)

y(t)＝x^T(t)W_out (2)

其中,u(t)、x(t)和y(t)分别表示储备池t时刻的输入变量、状态变量和输出变量；激活函数f取双曲正切tanh函数；

输出权重矩阵W_out在训练时获得，即最小化目标函数对应的W_out值，如公式(3)所示，采用伪逆法获得，如公式(4)所示：

W_out＝arg min||XW_out-Y||² (3)

其中，(X,Y)是训练样本，是X的伪逆。

3.根据权利要求2所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤3中最小化添加惩罚项的目标函数对应的W_out估计值如公式(5)所示：

MCP罚函数如公式(6)所示：

上式中，J表示变量个数，ρ_λ,γ表示罚函数，γ,λ为可调超参数，θ为参数向量，本发明中为输出权重W_out。

4.根据权利要求3所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤2中采用局部二次近似算法对MCP罚函数求解具体如下：

假设已知，MCP罚函数近似分解如公式(7)所示；式(7)中前两项与W_out无关，可看作常数C，则W_out估计值如公式(8)所示：

其中，为输出权重初值，由公式(4)获得，为罚函数的一阶导，D为W_out中非零元素个数；

通过对式(8)重复执行Ridge回归解可得输出权重估计如下：

5.根据权利要求4所述的基于MCP罚函数的小世界回声状态网络时间序列预测方法，其特征在于：所述步骤3中对MCP惩罚模型的超参数优化方法如下：

Step1：初始化参数，设置食物源种群数量为Z，种群最大迭代次数为Q，交叉概率为K，排挤因子为P，排挤数目为P_a，当前迭代次数q＝0，并初始化γ,λ，作为初始食物源，即随机生成一组均匀分布γ和λ可调超参数组合；

Step2：输入训练样本，计算训练误差，通过训练误差求出适应度值F：

F＝1/ρ_λ,γ(|θ|) (10)

Step3：对每一个食物源附近未知解空间进行搜索，生成新的食物源，即随机在一定范围内生成一个空间扰动向量L，分别针对γ和λ可调超参数在其数值空间附近进行随机方向搜索获得新食物源，直至食物源种群数量达到2*Z；

Step4：分别针对γ和λ可调超参数进行归一化处理，随机选择P个食物源作为排挤因子，循环计算其他食物源与排挤因子的γ和λ的差值，按照差值之和进行升序排序，淘汰前P_a个食物源，并重新随机生成P_a个食物源以保证种群数量不发生改变；

Step5：随机从种群中抽取两个食物源，计算食物源的数值位数，循环执行以下交叉操作，直到完成食物源中每一位的交叉操作，获得新的两个食物源，并添加到新种群：选择食物源的第i位，随机生成[0,1]区间的随机数，若该随机数大于预先设定的交叉概率K，则不改变，否则进行交叉操作，即互换两个食物源的第i位数值；

Step6：计算适应度值，根据适应度值对当前种群中食物源进行降序排序，选择当前种群中适应度值排在最后的一部分食物源，对其进行食物源初始化；记录当代食物源存入食物源记录集合中，若集合中已存在该食物源，则对其计数，使其值增1，若其值达到最大进化阈值，则对其进行重新初始化，并使得其值归0，保留当代最优解，若当代最优解优于历史最优解，则将其替代，反之，不发生改变，保留历史最优解进入下一代种群；

Step7：令q＝q+1，若q≤Q，则跳到步骤Step2，否则，进入步骤Step8；

Step8：输出历史最优解，即获得最优超参数γ,λ，结束训练。