[发明专利]往复地缩放神经元的连接权重和输入值来挫败硬件限制

说明书

根据训练算法训练神经网络，该训练算法可以迭代地执行以下操作。从存储器中调用缩放的连接权重值。这些值跨越硬件允许的有限范围内或与之兼容的初始范围。基于调用的值，学习有效的连接权重值。学习的值跨越不同于初始范围的有效范围。随着学习的进行，通过缩放学习的值来更新缩放的连接权重值，以便更新的值跨越有限范围内的最终范围。考虑到下一迭代步骤，训练算法指示将更新的缩放的值存储在存储器中。

技术领域

本公开总体上涉及神经网络和神经形态硬件以及实现这种神经网络的系统的领域。具体而言，本公开涉及用于训练神经网络的方法，其中网络的连接权重和相关值被缩放以解决硬件限制。

背景技术

人工神经网络(artificial neural network，ANN)是一种受人类或动物大脑中生物神经网络启发的计算模型。这种系统通过示例方式逐步自主地学习任务；它们已经成功地应用于机器学习(语音识别、文本处理、计算机视觉等)。

ANN包括一组相连的单元或节点，该单元或节点被称为人工神经元，并与动物大脑中的生物神经元相比拟。信号可以沿着人工神经元之间的连接(也称为边缘)传输，类似于突触。也就是说，接收信号的人工神经元对信号进行处理，然后向相连的神经元发送信号。在通常的实施方式中，沿着这种连接传送的信号是实数，并且归功于人工神经元的输入总和的非线性函数f而计算其输出。通常，连接权重(也称为突触权重)与连接和节点相关联，权重随着学习的继续进行而调整。

从数学上讲，在计算神经网络中，输入x和输出y的集合(分别对应于突触前和突触后神经元)经由通常可以由矩阵w表示的连接权重相互连接，其中，例如，对于线性神经元y＝wx。即，每个神经元可以具有若干输入，并且连接权重被赋予每个输入(该特定连接的权重)。在操作中，当人工神经元激活时，它通过将所有乘以其各自的连接权重的进入(incoming)输入相加来计算其状态。这种连接权重由训练算法在训练阶段期间学习，并由此更新。学习过程是迭代的：一次向网络呈现一个数据案例，并且每次调整与输入值相关联的权重。此外，网络通常包括偏置节点，以向每个计算节点提供可训练的常数值(除了节点接收的正常输入之外)。连接权重也与偏置节点和隐藏节点之间的连接相关联。

换句话说，节点从其它一些节点或从外部源接收输入并计算输出。每个输入具有在矩阵w中捕获的相关联的权重，该权重是基于其对其它输入的相对重要性来分配的。该节点将函数f应用于其输入的加权和。

这种概念在图1中示出，图1描绘了前馈神经网络(这里是多层感知器)，其包含多层布置的多个神经元。如图1所示，来自相邻层的节点之间具有连接，这些连接与权重相关联。所描述的前馈神经网络包括布置在各自的层中的三种类型的节点，即输入节点、隐藏节点和输出节点。输入节点一起称为输入层：它们从外部向网络提供信息。这种节点仅将信息传递给隐藏节点，并且通常不执行任何计算。隐藏节点被布置在一个或多个隐藏层中(为了简单起见，这里仅假设一个这样的层)；它们对外界是隐藏的，因为它们与外界没有直接联系。它们执行一些计算，从而将信息从输入层传递到输出节点。输出节点共同形成输出层；他们计算信息并将信息从内部网络传递到外部。

前馈网络仅有单个输入层和单个输出层；它可能有一个或多个隐藏层，或者实际上根本没有隐藏层。在这样的网络中，信息仅在一个方向(前向方向)上传播，从输入节点通过隐藏节点传播到输出节点。这种网络没有周期或环路，并且在这方面不同于递归神经网络，递归神经网络涉及节点之间的循环连接。