[发明专利]基于训练深度脉冲神经网络的梯度函数学习框架替换方法

说明书

本发明提供基于训练深度脉冲神经网络的梯度函数学习框架替换方法，包括第一步：找到深度脉冲神经网络在进行梯度下降过程中的神经元连接权重梯度以及与此神经元所连接且处于此神经元下一层的神经元在膜电位进行脉冲发射时的脉冲阈值；第二步：对神经元连接权重进行预测损失后，得到预测损失对神经元连接权重的偏导。本发明所提出的基于cosh的梯度替换函数相较于以前研究提出的梯度替换函数，曲线更加符合脉冲神经元活动规律，能够有效提高脉冲神经网络训练效果。

技术领域

本发明涉及基于深度脉冲神经网络的学习技术领域，具体为基于训练深度脉冲神经网络的梯度函数学习框架替换方法。

背景技术

深度脉冲神经网络指的是使用类似于深度学习的梯度下降学习方法来进行脉冲神经网络的有监督学习。目前已知深度脉冲神经网络相关专利如下：

1、申请号：202010572964.9

2、申请号：201610604373.9

其中，第一个专利构造了一种根据泄露集成点火(LIF)神经元模型的膜电压变化的特性而变化的电阻模块，其关注点主要在于改进脉冲神经元活动动态函数；

第二个专利类似，也对LIF神经元模型进行改良，并提出了更为完善的网络训练层应用于深度脉冲神经网络训练。

以上两个深度脉冲神经网络专利的创新点都集中于脉冲神经元模型结构上，然而，深度脉冲神经网络的梯度下降学习中最大的问题在于脉冲神经元存在不可微分的阶跃函数(Heaviside step function)，目前常用的解决框架是使用替换梯度函数(surrogategredient function)来替换阶跃函数的梯度，实现模型的学习。

而目前比较常用的三种替换梯度函数有：快速sigmoid函数梯度、Exponential函数以及线性分段函数pairwise linear。

但是，目前替换梯度函数的脉冲神经网络BP训练方法使用的替换梯度函数其函数形态与狄拉克函数差别较大，尤其是远离脉冲信号的情况下。

因此，基于上述问题，本发明提出基于cosh函数的替换梯度函数可以使得BP训练误差更接近真实误差，其次目前常用的脉冲神经元LIF模型只考虑了一阶时序相关，并且没有考虑到刺激关联的动态神经元连接权重，而本发明提出时序关联增强模块赋予LIF神经元动态神经元连接权重，增强SNN(脉冲神经网络)的拟合能力。

发明内容

针对现有技术存在的不足，本发明目的是提供基于训练深度脉冲神经网络的梯度函数学习框架替换方法，以解决上述背景技术中提出的问题，本发明通过使用相较于以前研究提出梯度替换函数的基于cosh的梯度替换函数以及提出时序关联增强模块的方式，解决了现有技术中的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：为了实现上述目的，本发明是通过如下的技术方案来实现：基于训练深度脉冲神经网络的梯度函数学习框架替换方法，包括以下步骤：

第一步：找到深度脉冲神经网络在进行梯度下降过程中的神经元连接权重梯度以及与此神经元所连接且处于神经元下一层的神经元在膜电位进行脉冲发射时的脉冲阈值；

第二步：对神经元连接权重进行预测损失后，得到预测损失对神经元连接权重的偏导；

第三步：使用双曲函数cosh的替换梯度函数代替所述脉冲阈值中的阶跃函数，并基于链式规则对所述阶跃函数进行计算，得到所述阶跃函数对所述神经元在其所对应时刻处膜电位的导数，并形成双曲函数cosh的替换梯度函数所表现的脉冲梯度，以达到经脉冲神经挽留过的BP训练误差更接近真实误差；

第四步：基于步骤1，通过建立时序关联增强模块对所述梯度下降过程中某一层神经元的突触后电流进行一次加权，得到所述神经元在此时间点所对应的动态分配线性权重，以用于赋予神经元动态神经元连接权重，增强SNN的拟合能力。