[发明专利]一种基于模糊玻尔兹曼机的忆阻神经网络训练方法

权利要求书

1.一种忆阻神经网络训练方法，构建基于忆阻器模型的模糊受限玻尔兹曼机网络，使用模糊化处理的方法，通过将权值模糊化来处理器件中电导的涨落性，从而增强神经网络训练过程的鲁棒性；所述模糊化处理的方法是将受限玻尔兹曼机网络中连接的强度/权值由确定的数变成为模糊数，得到模糊权值；再将所述模糊权值代入所述受限玻尔兹曼机中，得到更适于描述忆阻器器件特性的模糊受限玻尔兹曼机网络；网络的训练过程为对所述模糊权值进行更新，由此得到训练好的忆阻神经网络。

2.如权利要求1所述训练方法，其特征是，具体采用Pt/TaOx/Ta型忆阻器；所述忆阻器的阻变层TaOx的厚度约为12nm；所述忆阻器的器件尺寸为2x2um²。

3.如权利要求1所述训练方法，其特征是，通过输入测试数据到由所述训练方法训练得到的网络，计算得到网络的输出，再与期望的输出进行比较评估，由此评估网络的正确性。

4.如权利要求1所述训练方法，其特征是，所述训练过程具体包括如下步骤：

1)对受限玻尔兹曼机进行模糊化处理，使受限玻尔兹曼机网络中连接的强度/权值参数与实际器件中的电导涨落性同分布，得到模糊受限玻尔兹曼机网络的初始状态；设定模糊受限玻尔兹曼机网络的模糊权值表示为ω，模糊权值的下界和上界分别表示为ω_L和ω_R；由器件中实际测得的高阻态电导分布，得到所述模糊权值及其下界和上界的初始值；

2)将训练样本数据x输入所述模糊受限玻尔兹曼机网络的可见神经元层，利用连接的突触，通过式1和式2得到隐神经元层的抽样概率P：

P_L(h_L|v)＝σ(b+ω_Lν) (式1)

P_R(h_R|v)＝σ(b+ω_Rν) (式2)

式中，h,v分别表示隐神经元层和可见神经元层的初始状态；b为偏置；ω为突触的模糊权值；下标L和R分别表示计算的是相应参数的下界和上界；

3)根据步骤2)得到的抽样概率值，抽样重构隐神经元层的值h；

4)将隐神经元层的值h为输入，根据前后层连接的突触，通过式3-式4计算得到可见神经元层的抽样概率P：

P_L(ν_：'|h)＝σ(b+ω_Lh) (式3)

P_R(ν_R’|h)＝σ(b+ω_Rh) (式4)

其中，v’表示重构后可见神经元层的值；

5)根据步骤4)得到的可见神经元层的抽样概率值，抽样重构可见神经元层的值v’；

6)利用重构后的可见神经元层的值v’，执行步骤2)-3)再次重构隐神经元层，得到隐神经元层的新的值h’；

7)通过式5-式6计算模糊权值的改变量：

Δω_L＝ε(νP(h_L|ν)-ν'P(h'_L|ν')) (式5)

Δω_R＝ε(νP(h_R|ν)-ν'P(h'_R|ν')) (式6)

其中，ε为学习速率；根据模糊权值的改变量，更新模糊权值为ω_L＝ω_L+△ω_L，ω_R＝ω_R+△ω_R；

8)重复执行步骤2)-7)，直到完成所有训练样本数据。

5.如权利要求4所述训练方法，其特征是，步骤1)中，所述模糊受限玻尔兹曼机网络的初始值中，模糊权值ω为器件电导分布的均值，模糊权值的下界和上界ω_L和ω_R的初始值分别为电导分布的3σ下界和3σ上界。