[发明专利]模糊神经网络BP训练过程中的步长优化方法

权利要求书

1.模糊神经网络BP训练过程中的步长优化方法，其特征在于，该方法步骤为：

步骤1：构造基于Mamdani模型的模糊神经网络，模型描述如下；

基于Mamdani模型的模糊神经网络的描述如下：

第一层：将精确集合上的输入变量X＝[x₁,…,x_n]传入模糊神经网络；

该层节点数N₁＝n，n为输入变量的维数

第二层：用m_i个语言变量来描述精确变量x_i，并输出x_i隶属于语言变量的隶属度其中i＝1,2…n；l_i＝1,2…m_i；

该层节点数(语言变量总数量)，涉及模型参数变量和(语言变量的中心位置和宽度)；

第三层：计算模糊规则库中规则R_j对输入变量X的适用度z^j(j＝1,2…m；j_i＝1,2…m_i)；规则R_j的形式如下：

then f is B^j

其中f是模型的精确输出量，B^j是描述f的语言变量；用乘法推理机计算R_j的适用度

该层节点数N₃＝m(规则库中的规则数量)；

第四层：归一化计算

该层节点数N₄＝m；

第五层：解模糊计算，利用中心平均解模糊器得出模型的精确输出

由于设计的是MISO模糊神经网络，所以该层节点数N₅＝1；该层涉及模型参数w^k，表示语言变量B^k的中心；

步骤2：设置精度要求和步长的最大取值α_max

步骤3：利用BP算法求出代价函数关于模型参数的梯度，公式如下：

其中，α表示训练步长，θ(q)表示参数变量经过q次迭代后的取值，q为大于1的整数；

步骤4：估计最优步长并调整模型参数；

首先定义负梯度为Δθ

将步长的确定转化为如下优化问题：

min J(α)＝J(θ(q-1)+αΔθ(q-1))

s.t.α＞0 (11)

利用负梯度Δθ(q-1)方向上代价函数关于步长α的一阶、二阶导数来估计每次迭代的最佳步长α，从而提高参数调整的效率；二次导数的求导步骤如下：

Step 1:首先定义和g^j为

Step 2:逐层求导：

第1、2、3层：

第4、5层：

Step 3：求出代价函数关于步长的导数：

Step 4：确定步长：

步长的确定分为两种情况处理：

情况一：

情况二：

Step 5：判断选取步长是否超过最大允许范围，若超过范围，则令α(q):＝α_max

步骤5：利用梯度和所选步长调整模型参数

θ(q):＝θ(q-1)+α(q)Δθ(q) (23)

步骤6：判断调整后的模型是否满足精度有求，若满足，则停止训练；否则跳回步骤3。

2.根据权利要求1所述的模糊神经网络BP训练过程中的步长优化方法，其特征在于，一方面免去了步长选择问题；另一方面，由于利用了二阶导数信息，能提高每次参数调整的效率。