[发明专利]脉冲神经网络奖励优化方法、装置、电子设备和存储介质

说明书

本发明提供一种脉冲神经网络奖励优化方法、装置、电子设备和存储介质，其中方法包括：对脉冲神经网络进行初始化操作；基于脉冲编码器，将样本数据转换为样本脉冲序列编码；将样本脉冲序列编码输入至脉冲神经网络，确定脉冲神经网络的前向传播过程中每层神经元的发放状态后，确定每个隐藏层对应的奖励，并基于每个隐藏层的输出及其对应的奖励，对每层神经元与其对应的突触前神经元间的突触权重执行优化操作，直至脉冲神经网络收敛；其中，每层神经元与其对应的突触前神经元间的突触权重的优化操作是相互独立的。本发明具备生物合理性，且与逐层优化方式对比，可以减少不必要的信息存储，降低了内存占用，减少了能耗，有利于置于芯片上使用。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种脉冲神经网络奖励优化方法、装置、电子设备和存储介质。

背景技术

脉冲神经网络被认为是第三代人工神经网络。脉冲神经网络中神经元之间传递的基本信息单位是离散的脉冲，包含达到发放阈值的膜电位状态的精确时间。这种事件型信号包含内部神经元动力学和历史积累(和衰减)的膜电位。脉冲神经网络中的脉冲训练与人工神经网络中的放电率(这里可以将放电率定义为描述传播信息的模拟值)相比，为更好地表征处理序列信息打开了一个新的时间坐标。除了神经元动力学，生物学特征的学习原则是脉冲神经网络的其他关键特征，描述了通过局部和全局可塑性原则修改突触权值。目前大多数的局部准则都是无监督的，包括脉冲时间依赖可塑性(STDP)、短时可塑性(STP)、长时程增强(LTP)、长时程抑制(LTD)和侧向抑制等。对于全局性准则，其比局部原则更“受监督”，数量规模更小，但与网络功能更相关，例如，可塑性传播，奖励传播(RP)，反馈对齐(FA)，目标传播(TP)等。

脉冲神经网络在结构和功能上存在差异，如回声状态机、液体状态机、生物神经元前馈结构以及一些与任务相关的结构。目前存在的脉冲神经网络训练方法是基于BP(BackPropagation，反向传播)方式或者是与BP方式相关的。然而，BP方式并不符合生物学习方法准则，训练效果欠佳，在将脉冲神经网络应用到音视频或图像数据的识别任务上时，识别效果不佳。

发明内容

本发明提供一种脉冲神经网络奖励优化方法、装置、电子设备和存储介质，用以解决现有技术中利用BP训练方式训练脉冲神经网络不符合生物学习方法准则、将训练好的脉冲神经网络应用到识别任务上时的识别效果欠佳的缺陷。

本发明提供一种脉冲神经网络奖励优化方法，包括：

对脉冲神经网络进行初始化操作；

基于脉冲编码器，将样本数据转换为样本脉冲序列编码；所述样本数据为音频数据、图像数据或视频数据；

将所述样本脉冲序列编码输入至所述脉冲神经网络，确定所述脉冲神经网络的前向传播过程中每层神经元的发放状态后，确定每个隐藏层对应的奖励，并基于每个隐藏层的输出及其对应的奖励，对每层神经元与其对应的突触前神经元间的突触权重执行优化操作，直至所述脉冲神经网络收敛；任一隐藏层的输出是基于所述任一隐藏层的神经元的发放状态确定的；

其中，每层神经元与其对应的突触前神经元间的突触权重的优化操作是相互独立的。

根据本发明提供的一种脉冲神经网络奖励优化方法，所述基于每个隐藏层的输出及其对应的奖励，对每层神经元与其对应的突触前神经元间的突触权重执行优化操作，具体包括：

确定所述奖励的奖励类型；

若所述奖励的奖励类型为与输出无关的非误差类奖励，则在任一隐藏层运算结束后，基于所述任一隐藏层的输出及其对应的奖励，对所述任一隐藏层的神经元与其对应的突触前神经元间的突触权重执行优化操作；

若所述奖励的奖励类型为与输出相关的误差类奖励，则在前向传播计算得到输出后，基于每个隐藏层的输出及其对应的奖励，对每层神经元与其对应的突触前神经元间的突触权重执行优化操作。