[发明专利]神经网络运算模块及方法

权利要求书

1.一种神经网络运算模块，其特征在于，所述神经网络运算模块用于进行多层神经网络的运算，包括：

存储单元，用于存储输入神经元精度、权重精度和输出神经元梯度精度；

控制器单元，用于从所述存储单元获取所述多层神经网络第L层的输入神经元精度S_x(l)、权重精度S_w(l)和输出神经元梯度精度其中，所述L为大于0的整数；根据所述输入神经元精度S_x(l)、所述权重精度S_w(l)和所述输出神经元梯度精度获取梯度更新精度T；当所述梯度更新精度T小于预设精度T_r时，调整所述输入神经元精度S_x(l)、权重精度S_w(l)和输出神经元梯度精度以使所述梯度更新精度T与所述预设精度T_r的差值的绝对值最小；

运算单元，用于根据调整后的输入神经元精度S_x(l)和权重精度S_w(l)来表示第L层的输入神经元和权重和根据调整后的输出神经元梯度精度来表示运算得到的第L层输出神经元梯度，以进行后续运算。

2.根据权利要求1所述的模块，其特征在于，所述控制器单元根据所述输入神经元精度S_x(l)、所述权重精度S_w(l)和所述输出神经元梯度精度获取梯度更新精度T，具体包括：

所述控制器单元根据预设公式对所述输入神经元精度S_x(l)、所述权重精度S_w(l)和所述输出神经元梯度精度进行计算，以得到所述梯度更新精度T；

其中，所述预设公式为：

3.根据权利要求2所述的模块，其特征在于，所述控制器单元调整所述输入神经元精度S_x(l)、权重精度S_w(l)和输出神经元梯度精度包括：

所述控制器单元保持所述输入神经元精度S_x(l)和所述权重精度S_w(l)不变，增大所述输出神经元梯度精度

4.根据权利要求3所述的模块，其特征在于，所述控制器单元增大所述输出神经元梯度精度时，减少表示所述输出神经元梯度的定点数据格式的位宽。

5.根据权利要求3或4所述的模块，其特征在于，所述控制器单元增加所述输出神经元梯度精度后，所述控制器单元还用于：

判断所述输出神经元梯度精度是否小于需求精度，所述需求精度为进行多层神经网络运算时输出神经元梯度的最小精度；

当所述输出神经元梯度精度小于所述需求精度时，减少表示所述输出神经元梯度的定点数据格式的位宽。

6.根据权利要求4或5所述的模块，其特征在于，所述控制器单元减少所述表示所述权重的定点数据格式的位宽，包括：

所述控制器单元按照预设步长N1减少所述表示所述输出神经元梯度的定点数据格式的位宽；

其中，所述预设步长N1为1、2、4、6、7、8或者其他正整数。

7.根据权利要求4或5所述的模块，其特征在于，所述控制器单元减少所述表示所述输出神经元梯度的定点数据格式的位宽，包括：

所述控制器单元按照2倍递增的方式减少所述表示所述输出神经元梯度的定点数据格式的位宽。

8.根据权利要求1-7任一项所述的模块，其特征在于，所述控制器单元还用于：

根据机器学习的方法获取所述预设精度T_r，或者；

根据第L-1层输出神经元的个数、学习率和批处理时的样本数量获取所述预设精度T_r；且所述第L-1层输出神经元的个数和批处理时的样本数量越多以及学习率越高，所述预设精度T_r越大。