[发明专利]基于类脑脉冲神经网络的自适应及分类方法及计算装置

说明书

本发明公开了一种基于类脑脉冲神经网络的自适应及分类方法及计算装置，所述脉冲神经网络被配置为输入脉冲神经元进行激活，所述激活过程包括放电；所述自适应阈值方法包括：将所述脉冲神经元的脉冲发射阈值设置为当前张量的中位数；所述脉冲神经元被配置为按照以下放电方程为S(t)＝sign(U(t)‑U_th)进行放电，当U(t)‑U_th0时，S(t)＝1；当U(t)‑U_th为其他时，S(t)＝0；其中，S(t)为脉冲神经元发射的脉冲，sign()为符号函数，U(t)为t时刻的膜电位，U_th为脉冲发射阈值。本发明提供的技术方案能够解决训练SNN阈值参数设置问题，通过对SNN算法配置自适应阈值方法，不仅解决了脉冲神经元阈值问题，而且还保持了SNN算法较高的分类精度。

技术领域

本发明涉及脉冲神经网络领域，特别涉及一种基于类脑脉冲神经网络的自适应及分类方法及计算装置。

背景技术

脉冲神经网络(Spiking Neural Network，SNN)作为第三代人工神经网络，其主要采用脉冲神经元来接受并传递信息。与深度神经网络(Deep Neural Network，DNN)只利用网络的空间域信息不同，SNN将网络的输入信息编码为空间域信号，并在信号传递过程中维持时间域关系，这种处理信息的方式更加接近真实的生物神经系统，更能反映智能的本质。由于SNN更好的生物可解释性，并且训练SNN功耗低、速度快、准确度高，因此，SNN受到了越来越广泛的研究者的注意。

根据训练方式的不同，SNN可以分为三种类型，无监督学习、间接监督学习和直接监督学习。依赖脉冲时间的可塑性(Spiking-timing-dependent Plasticity，STDP)算法是脉冲神经网络无监督学习的代表，STDP算法已经被应用于数字识别上，并取得了较好的分类结果，但是网络较为简单，无法实现分类性能的提升，同时该方法只考虑了局部神经元的活动，难以满足复杂网络结构训练的需求。SNN的间接监督学习算法是指卷积神经网络(Convolutional neural network，CNN)转成SNN的方法，即用训练好的CNN网络参数转换到具有相同结构的SNN中。该类算法首先根据经典的CNN网络，设计一种结构类似的裁剪CNN网络，然后对该网络进行训练和参数更新，得到最优的参数，最后将得到的参数导入与剪裁CNN结构类似的SNN网络结构中，得到最终的预测结果。裁剪的CNN结构和SNN结构唯一的不同是激活神经元不同。该过渡算法实现的分类精度和CNN的分类精度非常接近，具有与CNN相当的性能表现，但是这种转换算法过度依赖CNN，是一种CNN算法的替换，只能接近CNN性能，但是无法实现超越。此外，CNN转SNN的算法偏离了SNN提出的初衷，并不是一个很好地探索SNN学习性质的方法。直接监督学习的SNN算法借鉴了CNN的前向和反向传播(Backpropagation，BP)的思想，直接训练SNN。前向传播中，该方法将CNN中的激活函数替换为脉冲激活函数，实现了充电、放电和重置三个功能，即当膜电位超过阈值，产生脉冲记为1并作为下一层的输入，紧接着膜电位重置到初始电位；当膜电位没有超过阈值，不产生脉冲记为0并作为下一层的输入，膜电位留存到下一个时间窗口进行累积。反向传播中，使用梯度替代函数更新参数。这种算法虽然实现了很好的分类精度，但是充放电的阈值参数，直接影响着SNN算法的性能，阈值设置过大，脉冲发射少，需要更大的时间窗口进行膜电位的累积；阈值设置过小，脉冲发射频繁，影响分类性能。此前该类算法的阈值设置，需要依靠人们的经验或者通过一次次实验进行选择，极其耗时并且泛化性能较低。

发明内容

本发明的目的是提供一种解决训练SNN阈值参数设置问题的基于类脑脉冲神经网络的自适应及分类方法及计算装置。

为达到上述目的，本发明采用的技术方案如下：

一种基于类脑脉冲神经网络的自适应阈值方法，所述脉冲神经网络被配置为输入脉冲神经元进行激活，所述激活过程包括放电；