[发明专利]神经网络的训练方法及装置

权利要求书

1.一种神经网络的训练方法，其特征在于，所述神经网络包括多个处理层，所述多个处理层包括第一处理层以及一个或多个后级处理层；所述神经网络的训练方法由所述第一处理层执行；所述神经网络的训练方法包括：

将经过预处理后的第一训练数据量化为第二训练数据；其中，所述第一训练数据为所述第一处理层的前一层的输出数据；所述第二训练数据的位宽小于所述第一训练数据的位宽；

将第一权重矩阵量化为第二权重矩阵；其中，所述第二权重矩阵的位宽小于所述第一权重矩阵的位宽；

利用所述第二训练数据和所述第二权重矩阵，得到第一中间结果；其中，所述第一中间结果依次经过所述一个或多个后级处理层处理后，最终得到第一回传误差；

接收第二回传误差；其中，所述第二回传误差为所述第一回传误差经过所述一个或多个后级处理层处理后得到的误差；

将所述第二回传误差量化为第三回传误差；其中，所述第三回传误差的位宽小于所述第二回传误差的位宽；

利用所述第二训练数据和所述第三回传误差，计算第三权重矩阵；其中，所述第三权重矩阵作为下次训练的正向过程中输入的第一权重矩阵，且所述第三权重矩阵的位宽与所述第一权重矩阵的位宽相同。

2.根据权利要求1所述的神经网络的训练方法，其特征在于，所述将经过预处理后的第一训练数据量化为第二训练数据，包括：

根据第一饱和阈值，将所述第一训练数据量化为所述第二训练数据。

3.根据权利要求1或2所述的神经网络的训练方法，其特征在于，所述神经网络的训练方法还包括：

利用所述第二权重矩阵和所述第三回传误差，计算第四回传误差；其中，所述第四回传误差为所述第一处理层的前一层的回传误差。

4.根据权利要求2所述的神经网络的训练方法，其特征在于，所述神经网络的训练方法还包括：

根据所述第二训练数据、所述第一饱和阈值和所述第三回传误差，确定阈值更新量；

根据所述第一饱和阈值和所述阈值更新量，计算第二饱和阈值；其中，所述第二饱和阈值用于量化下次训练中使用的训练数据。

5.根据权利要求4所述的神经网络的训练方法，其特征在于，所述根据所述第二训练数据、所述第一饱和阈值和所述第三回传误差，确定阈值更新量，包括：

将所述第二训练数据中等于所述第一饱和阈值的训练数据对应的第三回传误差的累加和，确定为所述阈值更新量。

6.根据权利要求4或5所述的神经网络的训练方法，其特征在于，所述根据所述第一饱和阈值和所述阈值更新量，计算第二饱和阈值，包括：

根据如下公式，计算所述第二饱和阈值：

t₂＝t₁-r_t×t_update，

其中，t₂为所述第二饱和阈值，t₁为所述第一饱和阈值，t_update为所述阈值更新量，r_t为阈值学习率，0＜r_t＜1。

7.根据权利要求1-6中任一项所述的神经网络的训练方法，其特征在于，所述利用所述第二训练数据和所述第二权重矩阵，得到第一中间结果，包括：

利用所述第二训练数据和所述第二权重矩阵，基于卷积处理，得到所述第一中间结果。