[发明专利]一种基于贝叶斯估计的小波神经网络权值初始化方法

说明书

技术领域

本发明涉及小波神经网络优化技术领域，特别涉及一种采用状态估计研究思想，基于贝叶斯估计的小波神经网络权值初始化方法。

背景技术

人工神经网络是由人工神经元互联而成的网络系统，它从微观结构和功能上对人脑进行了抽象和简化，可以看作是一个由简单处理单元构成的规模宏大的高度并行处理器，天然具有存储经验知识和使之可用的特性。神经网络与人脑的相似处在于，神经网络所获取的知识是从外界环境学习而来，同时相互连接的神经元间的连接权值用于存储获得的知识。在处理计算上，虽然每个处理单元的功能看似简单，但大量简单处理单元的并行活动使网络在保证较快速度的前提下呈现出丰富的功能，加之神经网络的自适应能力为解决复杂的非线性、不确定、不确知系统的问题开辟了新途径，所以目前人工神经网络已受到非线性系统辨识与分析、控制系统和计算机等许多领域的青睐，并得到广泛应用。然而传统人工神经网络依然存在一定技术问题，例如学习算法所得到的误差是高维权向量的复杂非线性函数，故易陷入局部极小值；网络在学习过程收敛速度慢；在网络训练过程中容易发生振荡,导致网络无法收敛；学习样本的数量和质量影响学习效果(主要是泛化能力)和学习速度等。

正是因为传统神经网络自身的缺陷使得其在应用过程中存在一些棘手的问题，从而极大地影响了它的进一步发展和应用。而小波神经网络（简称小波网络）是建立在小波分析理论基础上的一种新型神经网络，其基本思想是用小波基函数或尺度函数代替传统神经网络函数作为激励函数，并通过仿射变换建立起小波变换与网络系数之间的连接。小波网络学习的目的之一是训练和调整网络的权值参数，网络权值的初始设置对训练结果和权值收敛速度都有着重要影响。合适的初始设置可以将权值迅速收敛至最优状态，不恰当的初始设置则很可能得到发散不稳定的结果，而在实际工业生产过程中方面，这种不收敛不稳定的情况甚至会造成无法预知的严重后果，因此网络权值的初始设置是小波网络的一个十分的重要研究问题。

目前国内外的学者就神经网络的权值初始化问题已先后提出一些方法，但大多针对传统人工神经网络进行设计，或是根据已存在的样本数据进行统计分析，而针对小波网络的初始化研究并不常见，比较有代表性的方法来自于赵学智等学者提出的《小波神经网络的参数初始化研究》，它是将权值初始化与小波类型、小波时频参数和学习样本等联系起来，从而有效的减小了发散结果出现的可能性，并加快了学习速率。但是这种方法的不足之处在于：首先，它将输出层神经元限制在线性结构上，没有对隐层到输出层间的权值进行初始设置；第二，小波网络是通过对权值的训练使网络的输出值逼近目标值，而上述方法在设计过程中过多依赖于随机产生的初始权值，忽视了网络输出的目标值的作用，因此只是一定程度上加快了小波网络的后续学习速度。

状态估计是根据可获取的量测数据估算动态系统内部状态的方法。在研究某些系统时，只能通过量测系统的输入输出数据来获取系统外部特性，无法直接测量内部的状态变量，而通过状态估计则可以解决此类问题。在小波网络中，网络权值可看作网络内部的状态量，在输入样本和输出目标值确定的条件下，其权值可通过一定的状态估计方法获得，此时小波网络权值的初始化设置问题可转化为权值状态估计问题。常见的状态估计方法有卡尔曼滤波、无迹卡尔曼滤波、粒子滤波、贝叶斯估计等，其中应用贝叶斯原理的贝叶斯方法通过直接对系统状态概率密度函数进行求解而更加明确地计算系统状态的各种可能性，因此逐渐受到更多的关注。贝叶斯方法曾被应用在神经网络权值的初始化设置，在赵金等学者提出的《自学习神经网络权值初始化的贝叶斯方法》一文中，利用贝叶斯方法计算各种权值组合的后验概率，并根据后验概率初始化权值。这种方法以多样本点为基础，能够减小学习过程中权值修改的幅度，并提高学习速率。但事先需提供多种权值组合，样本点的个数过少也会影响了权值的概率密度，同时需要将权值假设为高斯分布的形式，具有一定的局限性。

发明内容

本发明的目的在于提出提高权值在后续网络学习训练的适应能力的一种基于贝叶斯估计的小波神经网络权值初始化方法。

本发明的目的是这样实现的：

（1）建立小波神经网络模型

设置小波神经网络的网络层数和各层神经元的个数，并将各层权值分别设置为[-1,1]区间上均匀分布的随机数；

（2）权值单位化

小波网络的所有权值按层进行单位化，设W_MN为由w_mn(m＝1...M;n＝1...N)组成的第M层至第N层间的权值矩阵，则单位化后的权值矩阵W_MN为：