[发明专利]模糊神经网络BP训练过程中的步长优化方法

摘要

本发明在批量梯度下降(BGD)的基础上，提出了一种步长优化的BP算法。在每次迭代中先使用反向传播算法计算代价函数的梯度；然后沿着梯度方向计算代价函数关于步长的二阶导数；最后利用一阶、二阶导数信息估计最优步长并进行参数调整。所提方法一方面免去了步长选择问题；另一方面，由于利用了二阶导数信息，能提高每次参数调整的效率。

主权项

模糊神经网络BP训练过程中的步长优化方法，其特征在于，该方法步骤为：步骤1：构造基于Mamdani模型的模糊神经网络，模型描述如下；基于Mamdani模型的模糊神经网络的描述如下：第一层：将精确集合上的输入变量X＝[x1,…,xn]传入模糊神经网络；该层节点数N1＝n，n为输入变量的维数第二层：用mi个语言变量来描述精确变量xi，并输出xi隶属于语言变量的隶属度其中i＝1,2…n；li＝1,2…mi；该层节点数(语言变量总数量)，涉及模型参数变量和(语言变量的中心位置和宽度)；第三层：计算模糊规则库中规则Rj对输入变量X的适用度zj(j＝1,2…m；ji＝1,2…mi)；规则Rj的形式如下：then f is Bj其中f是模型的精确输出量，Bj是描述f的语言变量；用乘法推理机计算Rj的适用度该层节点数N3＝m(规则库中的规则数量)；第四层：归一化计算该层节点数N4＝m；第五层：解模糊计算，利用中心平均解模糊器得出模型的精确输出由于设计的是MISO模糊神经网络，所以该层节点数N5＝1；该层涉及模型参数wk，表示语言变量Bk的中心；步骤2：设置精度要求和步长的最大取值αmax步骤3：利用BP算法求出代价函数关于模型参数的梯度，公式如下：其中，α表示训练步长，θ(q)表示参数变量经过q次迭代后的取值，q为大于1的整数；步骤4：估计最优步长并调整模型参数；首先定义负梯度为Δθ将步长的确定转化为如下优化问题：min J(α)＝J(θ(q‑1)+αΔθ(q‑1))s.t.α＞0   (11)利用负梯度Δθ(q‑1)方向上代价函数关于步长α的一阶、二阶导数来估计每次迭代的最佳步长α，从而提高参数调整的效率；二次导数的求导步骤如下：Step 1:首先定义和gj为Step 2:逐层求导：第1、2、3层：第4、5层：Step 3：求出代价函数关于步长的导数：Step 4：确定步长：步长的确定分为两种情况处理：情况一：情况二：Step 5：判断选取步长是否超过最大允许范围，若超过范围，则令α(q):＝αmax步骤5：利用梯度和所选步长调整模型参数θ(q):＝θ(q‑1)+α(q)Δθ(q)   (23)步骤6：判断调整后的模型是否满足精度有求，若满足，则停止训练；否则跳回步骤3。