[发明专利]具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法

说明书

本发明公开了具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法，包括以下步骤：离散化的逐时间步更新神经元状态量，预估时间步范围内的是否产生脉冲发放及其时刻偏移量，根据突触连接计算下时刻的脉冲输入，重复此过程完成网络仿真；根据仿真结果延神经元状态量、脉冲发放量和时刻偏移量反传梯度误差，进行网络参数更新。本发明减小了脉冲神经网络逐时间步仿真计算中的误差，在同等精度条件下提高了仿真效率。同时，在误差反传算法中通过脉冲发放量和时刻偏移量两个维度传递脉冲误差，提高了训练的效率。

技术领域

本发明涉及神经网络技术及类脑计算技术领域，尤其是涉及一种具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法。

背景技术

脉冲神经网络（SNN）是更精确模拟生物神经系统计算与通信机制，更接近人脑信息处理方式的神经网络技术。脉冲神经元的脉冲产生动力学机制使SNN具有固有的历史信息处理能力，与传统人工神经网络相比在处理时空信息上具有独特优势，同时脉冲传递信息的方式也更加节约计算资源。因此，脉冲神经网络是类脑智能领域重要的技术工具。

然而，SNN的连续动力学机制和脉冲放电过程也使SNN的软硬件仿真和训练更加困难。首先，SNN的动力学过程需要微分方程组描述，实际应用中一般需要按一定时间步长离散化的近似计算。这种时钟驱动（clock-driven）的计算方式导致神经元只能在时间步上计算脉冲发放，基于时间步的脉冲时刻与真实脉冲时刻之间存在一定误差。通过脉冲传递，脉冲时刻存在的误差会进一步扩大，严重影响了SNN的仿真计算精度。为保证计算精度，通常需要较小的时间步长，但是较小的时间步加大了仿真与训练的计算量，降低了计算效率。其次，由于SNN在脉冲产生过程具有不可微分的突变，导致SNN无法直接使用标准梯度误差反传的方法进行学习。已有SNN算法通常对脉冲传递采用替代梯度的方法通过每个时间步状态量反传误差，但是现有替代梯度方法无法逼近脉冲发放概率和脉冲时刻移动两个方向的梯度变化，因此对SNN网络的梯度计算存在较大偏差。综上，现有SNN时钟驱动的计算方式使SNN仿真与训练存在较大误差，限制了SNN技术在复杂人工智能任务上的应用。

发明内容

为解决现有技术的不足，实现同等时间步长条件下，提高了SNN的仿真与训练精度，从而提高了计算效率的目的，本发明采用如下的技术方案：

具有脉冲时刻偏移量的脉冲神经网络的仿真与训练方法，包括如下步骤：

S1，基于具有脉冲时刻偏移量的离散化脉冲神经元LIF（Leaky-Integrate-and-Fire），构建多层脉冲神经网络，设定网络结构中的恒定参数和变量初始值，并对连接等参数进行初始化，选取放电脉冲次数、脉冲时刻延迟等脉冲解码方式，将带类别标签的训练数据转化为脉冲信号，输入多层脉冲神经网络；

S2，基于突触输入的上一时刻脉冲发放量、脉冲时刻偏移量，以及神经元上一时刻状态量，通过具有时刻偏移量的神经元模型的离散化数值计算方法，更新此时刻神经元状态量；

S3，根据此时刻神经元状态量，如膜电压及膜电压对时间的导数（即电压变化率），预估此时刻到下一时刻之间，是否发放脉冲、发放脉冲的时刻，若发放脉冲，包括相应的时刻偏移量，判定下一时刻前，是否发放脉冲及时刻偏移量，并用神经元脉冲和脉冲时刻偏移二元组表征此时刻神经元的输出，即o=(o_s,o_t)，o_s表示神经元输出脉冲，o_s=1表示有脉冲输出，o_s=0表示无脉冲输出，Δo_t表示准确的脉冲时刻距下一时刻的向前偏移量；

S4，前后神经元由突触连接，将突触权重与突触前神经元脉冲输出结合，并传递给相应的突触后神经元；