[发明专利]基于自适应回溯搜索的回声状态网络优化方法及设备

说明书

本发明实施例提供了一种基于自适应回溯搜索的回声状态网络优化方法及设备。所述方法包括：初始化自适应回溯搜索算法的参数，并获取若干种群，以若干种群中的某一个体，构成回声状态网络的连接权值矩阵，根据连接权值矩阵及状态矩阵，获取回声状态网络的输出值及其适应值；若当前种群代数小于最大种群代数，则采用自适应回溯搜索算法，获取实验种群，实验种群中某一个体，构成另一连接权值矩阵，根据该连接权值矩阵及状态矩阵，获取回声状态网络的输出值及其适应值；若输出值的适应值小于前一输出值的适应值，则采用后一个体替换前一个体，实现对所述回声状态网络的优化。本发明的实施例可以提升回声状态网络的系统识别和时间序列预测能力。

技术领域

本发明实施例涉及神经网络技术领域，尤其涉及一种基于自适应回溯搜 索的回声状态网络优化方法及设备。

背景技术

人工神经网络(Artificial Neural Network,ANN)是一种以数据为驱 动的，自适应的人工智能模型。ANN非常适合于时间序列问题建模，主要是 因为ANN具有以下几个特征：(1)与传统的数学建模方法不同，ANN是以数 据为驱动的自适应建模方法；(2)与传统的基于回归的方法相比，ANN具有 更好的模型泛化能力；(3)ANN在理论上可以以任意精度无限逼近任意动态 系统，具有良好的非线性映射能力。强大的近似能力使ANN在时间序列预测 问题中得到广泛应用。但是，面对具体的时间序列预测问题时，选择合适的 人工神经网络模型结构是一个困难而重要的工作。

采用回声状态网络(Echo State Network,ESN)对麦克格拉斯 (Mackey-Glass)混沌时间序列进行预测，实验结果显示其预测精度较过去的 研究成果提高了2400倍。作为RNN(循环神经网络)的最新研究成果之一， ESN从被提出就广受关注。ESN的最显著特征是其网络结构简单，且只有储备 池(隐藏层)到输出层的连接权值矩阵需要计算，而网络的输入层到储备池 的连接权值矩阵和储备池内部连接权值矩阵，以及输出层到储备池的反馈连 接权值矩阵在网络初始化阶段随机生成并保持不变。在储备池到输出层的连 接权值矩阵计算过程中，通常会采用线性回归方法，该方法能够节省计算成 本，但是同时也会造成网络过于拟合训练集数据。目前，使用回声状态网络 进行时间序列问题预测的技术方案主要体现在对回声状态网络进行优化，具 体包括两个方面：(1)使用各种进化算法对回声状态网络的关键参数进行优 化；(2)改进回声状态网络的储备池结构。现有这些技术方案在实际的时间 序列预测问题上能够获得较高的精度，但是它们有一个共同特点：采用线性回归方法计算回声状态网络的储备池到输出层之间的连接权值矩阵。尽管， 线性回归方法能够节省网络训练的成本，但是会导致网络在训练过程中出现 模型过度拟合问题，从而影响预测精度。因此，找到一种能够自适应地获取 回声状态网络的储备池到输出层之间的连接权值矩阵，并在此基础上提升回 声状态网络对系统识别和时间序列预测的能力，就成为业界亟待解决的技术 问题之一。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种基于自适应回 溯搜索的回声状态网络优化方法及设备。