[发明专利]用于创建脉冲神经网络的方法、设备和计算机程序

说明书

本发明涉及一种用于创建脉冲神经网络（英文Spiking Neural Network）的方法（10）。该方法开始于将可预先给定的控制模式（英文rollout pattern）分派给深度神经网络。接着，在使用该控制模式的情况下对该深度神经网络进行教导。接着，将该深度神经网络转换成该脉冲神经网络，其中根据该控制模式来分别给该脉冲神经网络的连接分配延迟。本发明还涉及一种用于实施该方法（10）的计算机程序和设备以及一种在其上存储有该计算机程序的机器可读存储元件。

技术领域

本发明涉及一种用于通过将被教导的人工神经网络转换成脉冲神经网络来创建该脉冲神经网络的方法。本发明同样涉及一种分别被设立为实施该方法的设备和计算机程序。

背景技术

可能的是使人工神经网络完全并行地运行，如由作者Volker Fischer、Jan Köhler和Thomas Pfeil在他们的出版物“The streaming rollout of deep networks-towards fully model-parallel execution.”arXiv preprint arXiv:1806.04965（2018年）所示出以及在DE 20 2018 104 373 U1中所示出的那样。

公知脉冲神经网络（英文Spiking Neural Network，SNN）。脉冲神经网络是人工神经网络（英文Artifical Neural Network，ANN）的变体并且与生物神经网络非常相似。就像在生物神经网络中那样，脉冲神经网络的神经元并不是像在深度神经网络中所执行的那样在每个传播周期（英文propagation cycle）中都开火（feuern），而是只有当膜电位超过阈值时才开火。如果脉冲神经网络的神经元开火，则该神经元产生短脉冲（英文spike），该短脉冲传递到其它神经元，所述其它神经元又根据该脉冲来提高或降低所述其它神经元的膜电位。

脉冲神经网络要花费高地被教导，因为短脉冲序列（英文spike trains）通过狄拉克（Dirac）函数来呈现，所述狄拉克函数不能以数学方式推导。

可能的是：将被教导的人工神经网络转换成被教导的脉冲神经网络，如由作者Rueckauer Bodo、Lungu Iulia-Alexandra、Hu Yuhuang、Pfeiffer Michael、Liu Shih-Chii在他们的出版物“Conversion of Continuous-Valued Deep Networks to EfficientEvent-Driven Networks for Image Classification”《神经科学前沿》doi 10.3389/fnins.2017.00682（2017年）, https://doi.org/10.3389/fnins.2017.00682所示出的那样。

本发明的优点

脉冲神经网络在推理期间高效，因为可以在专用硬件上完全并行地实施脉冲神经网络的层、尤其是神经元。然而，该优点在人工神经网络、尤其是具有跨接连接（英文skip-/recurrent-connection）的人工神经网络被转换成脉冲神经网络的情况下不能被充分利用。因为，如果具有跨接连接的人工神经网络被转变，则脉冲神经网络只能按顺序被实施、例如通过等待时钟按顺序被实施，但是这低效。

相对于脉冲神经网络而言，人工神经网络的区别还在于：人工神经网络并不随时间来整合信息，因为这些人工神经网络针对每个传播周期只立即处理并且紧接着转发相应当前供支配的信息。也就是说，人工神经网络将按顺序运行，而脉冲神经网络并行运行。