[发明专利]用于人工神经网络计算的处理器

说明书

本公开提供了一种用于人工神经网络计算的处理器，处理器包括映射单元和运算单元，处理器在对多层人工神经网络进行训练时，用于实现如下步骤：正向运算：映射单元读取存储单元的输入数据，并对输入数据进行处理，以得到处理后的输入数据；运算单元根据处理后的输入数据，对人工神经网络中的各层依次执行正向运算，得到人工神经网络的输出神经元；反向运算：运算单元按照与正向运算相反的顺序，对人工神经网络中的各层依次执行反向运算，得到各层的权值梯度和输入神经元梯度；权值更新：运算单元根据各层的权值梯度，对人工神经网络中的各层进行权值更新，获得更新的权值。

技术领域

本公开涉及人工神经网络技术领域，更具体地涉及用于人工神经网络计算的处理器。

背景技术

人工神经网络(Artificial Neural Networks，ANNs)简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。

就像大脑里的神经网络一样，神经网络由一些互相连接的节点组成，如图1所示，每个圆圈表示一个神经元，每个箭头表示两个神经元之间的连接，连接又被称为权值。

神经元的计算公式可以简单的描述成：其中，x_i表示所有和输出神经元相连接的输入神经元，w_i表示x_i和输出神经元之间对应的权值。f(x)是一个非线性函数，通常称作激活函数，常用的函数如：等。

神经网络被广泛应用于各种应用场景：计算视觉、语音识别和自然语言处理等。在近几年的时间里，神经网络的规模一直在增长。在1998年，Lecun用于手写字符识别的神经网络的规模小于1M个权值；在2012年，krizhevsky用于参加ImageNet竞赛的规模是60M个权值。

公开内容

(一)要解决的技术问题

有鉴于此，本公开的主要目的在于提供一种人工神经网络计算装置和方法，以克服上述现有技术的缺陷。

(二)技术方案

根据本公开的一个方面，提供了一种人工神经网络计算方法，利用人工神经网络计算装置对多层人工神经网络的进行训练，所述人工神经网络计算装置包括：映射单元、存储单元和运算单元，所述人工神经网络计算方法包括：对多层人工神经网络中的各层依次执行正向运算，对于多层人工神经网络的每一层，所述正向运算包括：所述映射单元对输入数据进行处理，删除输入数据中小于或等于阈值或者输入数据的绝对值小于或等于阈值的输入数据，以得到处理后的输入数据；所述存储单元存储所述处理后的输入数据；所述运算单元读取所述处理后的输入数据，进行人工神经网络运算，得到人工神经网络的输出数据；按照与正向运算相反的顺序，对多层人工神经网络中的各层依次执行反向运算；对多层人工神经网络中的各层进行权值更新；重复执行上述各个步骤多次，完成多层人工神经网络的训练。

在本公开的一些实施例中，所述人工神经网络计算装置还包括：第一输入缓存和第二输入缓存；所述对多层人工神经网络中的各层进行权值更新包括：对于人工神经网络的每一层，所述第一输入缓存和所述第二输入缓存分别存储该层的权值和权值梯度；所述运算单元从所述第二输入缓存接收所述权值梯度，然后使用所述权值梯度对所述权值进行更新，得到更新后的权值。

在本公开的一些实施例中，所述输入数据包括输入神经元和权值；所述映射单元对输入数据进行处理，以得到处理后的输入数据包括：所述映射单元读取权值的连接关系数据，并将所述权值中数值或绝对值小于或者等于第一阈值的权值删除，得到处理后的权值；所述映射单元基于权值的连接关系数据对输入神经元进行处理，得到处理后的输入神经元。