[发明专利]用于执行人工神经网络反向训练的装置和方法

权利要求书

1.一种用于执行人工神经网络反向训练的装置，包括H树模块、主运算模块、多个从运算模块、以及幂次转换模块；其中：

H树模块，用于在每层神经网络反向训练开始计算的阶段，主运算模块通过H树模块向所有的从运算模块传输本层的输入梯度向量，在从计算模块的计算过程完成后，H树模块逐级将各从计算模块的输出梯度向量部分和两两相加得到本层的输出梯度向量；

主运算模块，用于在每一层的计算过程中，利用本层的输出梯度向量完成后续计算；

多个从运算模块，用于利用相同的输入梯度向量和各自的权值数据，并行地计算出相应的输出梯度向量部分和；以及

幂次转换模块，其包括第一幂次转换单元和/或第二幂次转换单元；所述第一幂次转换单元用于将一格式数据转换为幂次数据，所述第二幂次转换单元用于将幂次数据转换为一格式数据；

所述幂次数据包括符号位和幂次位，符号位用一位或多位比特位表示数据的符号，幂次位用m位比特位表示数据的幂次位数据，m为大于1的正整数；

所述装置还包括一外部存储单元或内部缓存单元，用于预存编码表，提供幂次神经元数据的每个幂次位数据对应的指数数值；所述编码表设置一个或者多个幂次位数据为指定对应的幂次神经元数据为0；

其中，所述幂次神经元与权值乘法操作具体为，幂次神经元数据符号位与权值数据符号位做异或操作；若编码表的对应关系为乱序，则查找编码表找出幂次神经元数据幂次位对应的指数数值；若编码表的对应关系为正相关，则记录编码表的指数数值最小值并做加法找出幂次神经元数据幂次位对应的指数数值；若编码表的对应关系为负相关，则记录编码表的最大值并做减法找出幂次神经元数据幂次位对应的指数数值；以及将指数数值与权值数据幂次位做加法操作，权值数据有效位保持不变。

2.根据权利要求1所述的装置，其中，所述格式数据为浮点数据和/或定点数据。

3.根据权利要求1所述的装置，其中，所述第一幂次转换单元用于选择性的将所述主运算模块和/或从运算模块的的输入数据、中间数据或输出数据转换为幂次数据；所述第二幂次转换单元用于选择性的将所述主运算模块和/或从运算模块的输入数据、中间数据或输出数据中的幂次数据转换为一格式数据。

4.根据权利要求1所述的装置，其中，所述主运算模块包括：第一运算单元，用于接收来自H树模块的输出梯度向量，完成主运算模块的各种运算功能；该第一运算单元包括：向量加法单元及激活单元；其中，向量加法单元用于实现人工神经网络卷积层反向训练运算中的加偏置操作，所述向量加法单元的输入为从外部地址空间读取出来的偏置向量，以及通过所述H树模块从从运算模块传送回来的中间结果，输出为偏置向量与中间结果相加后的偏置结果；

激活单元用于实现人工神经网络激活函数导函数乘法操作，所述激活单元的输入为通过所述H树模块从从运算模块传送回来的中间结果，或向量加法单元输出的偏置结果，输出为所述中间结果或偏置结果与激活函数导函数相乘后的输出数据。

5.根据权利要求4所述的装置，其中，所述主运算模块还包括：数据依赖关系判断单元和神经元缓存单元；其中，神经元缓存单元用于缓存主运算模块在计算过程中用到的输入数据和输出数据；

数据依赖关系判断单元是运算单元读写神经元缓存单元的端口，用于保证对神经元缓存单元中数据读写不存在一致性冲突，并且负责从神经元缓存单元读取输入梯度向量通过H树模块发送给从运算模块。

6.根据权利要求4或5所述的装置，其中，所述幂次转换模块，包括第一幂次转换单元，用于将主运算模块的输出数据转换成幂次数据，各所述从运算模块通过H树模块接收经所述第一幂次转换单元传输的幂次数据并进行计算。