[发明专利]处理脉冲神经网络中的信号饱和

说明书

本公开提供了用于生成脉冲神经网络。生成脉冲神经网络可以包括：确定从多个输入神经元到多个输出神经元中的每个输出神经元的第一输入扇入大于阈值；基于确定所述第一输入扇入大于所述阈值而生成多个中间神经元；以及将所述多个中间神经元耦合至所述多个输入神经元和所述多个输出神经元，其中，所述多个中间神经元中的每一个都具有小于所述第一输入扇入的第二输入扇入，并且所述多个输出神经元中的每一个都具有小于所述第一输入扇入的第三输入扇入。

技术领域

本公开涉及神经网络。具体地，本公开涉及脉冲神经网络。

附图说明

图1是简图，展示了根据各个实施例的脉冲神经网络中的多个神经元。

图2、图3、图4、和图5是流程图，展示了根据各个实施例的用于处理脉冲神经网络中的信号饱和的方法。

图6是框图，展示了根据各个实施例的适合用于实践本公开的各方面的示例计算设备。

图7是框图，展示了根据各个实施例的具有用于实践参照图1至图6所描述的方法的指令的存储介质。

具体实施方式

在许多应用中，可能期望脉冲神经元的输出能够准确地反映其输入和扇入权重的点积。实现这种脉冲神经网络可能是困难的，因为脉冲神经元在单位时间窗口内就其可以产生的脉冲数量而言可能达到饱和。

如本文中所使用的，脉冲神经网络是由脉冲神经元和突触组成的网络。脉冲神经元可以是不在每个传播周期都激发而是仅当膜电势达到特定值时才激发的神经元。膜电势是生物细胞的内部与外部之间的电势之间的差。

在一些实施例中，脉冲神经元可以利用被称为节点的软件对象来实现。突触可以利用被称为链路的软件对象来实现。本文中所描述的示例还可以利用神经处理器被实现。

一种用于处理脉冲神经元的饱和的手段是前馈抑制网络。然而，前馈抑制网络可以利用O(n²)个突触(例如，神经元之间的连接)和2n个神经元。突触的状态维护可能是昂贵的(例如，成本和/或时间)硬件事件。替代方案是增加时间步长的数量并使用更大的膜时间常数，但这可能与硬件所允许的精度相冲突。

在本文中所描述的多个实施例中，提出了一种网络重构机制。实现网络重构机制的多个实施例可以结合缩放和深度来避免饱和效应。网络重构机制可以利用O(n.logn)个神经元(例如，节点)和O(n.logn)个附加突触(例如，链路)来实现。突触状态的数量(其对于硬件芯片维护是昂贵的)使得网络重组机制具有吸引力。突触的状态可以影响相关联神经元之间的信号传输。网络重构机制允许脉冲神经网络的设计者在各种设计常数之间作出权衡以便完成任务。

可以通过引入神经元和突触(例如，O(n.logn)个神经元和/或O(n.logn)个突触)的中间层来重构原始网络，以使得适当地管理脉冲神经网络的输出神经元处的扇入从而使输出神经元保持在低于神经元的饱和水平的状况。如本文中所使用的，饱和水平可以指神经元的激发率的饱和。如果神经元在给定时间窗口内接收到数量大于输入脉冲阈值的输入脉冲，则所述神经元饱和。当饱和时，神经元随其膜电势达到阈值(例如，膜电势阈值)而激发。不会以任何有意义的方式使用超过使神经元饱和所需的任何另外的输入脉冲，并且其所承载的信息简单地被丢弃。

与其他已知技术相比(如前馈抑制)，重构网络所需的多个附加突触较少。多个实施例还描述了用于确定在给定网络的其他控制参数的情况下需要多少附加神经元层(例如，以及因此新的最大扇入尺寸)的导引方程。所述导引方程利用多个参数来获得所需结果。

一种可能的方式是通对层响应进行归一化来处理饱和。对层响应进行归一化包括：对层的集体响应进行求和，并且然后将每个单个响应除以这个总和，以使得总响应维持在特定水平。然而，这种机制很难以单个神经元范围内的硬件来实现，因为求和过程包括从神经元池的每个元素收集响应。因此，这个过程无法在单个神经元的活动内“本地”实现，并且神经元被授权以非常非本地的方式进行通信。