[发明专利]卷积神经网络训练方法、装置、电子设备及可读存储介质

权利要求书

1.一种卷积神经网络训练方法，包括：

将训练图像输入所述卷积神经网络；

基于所述训练图像，交替进行所述卷积神经网络的正向传播过程和反向传播过程，以调整所述卷积神经网络的参数，

其中，在所述反向传播过程中，根据所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出的当前梯度分布，将求解所述卷积神经网络的损失函数相对于所述指定层的权重参数的当前梯度所需的至少部分数据从浮点格式转换为定点格式。

2.根据权利要求1所述的方法，其中，所述指定层包括全连接层、池化层、卷积层、反卷积层、批量归一化层中的任意一层。

3.根据权利要求1所述的方法，其中，所述定点格式包括INT16、INT8、INT4中的任意一种。

4.根据权利要求1所述的方法，其中，所述求解所述卷积神经网络的损失函数相对于所述指定层的权重参数的当前梯度所需的至少部分数据，包括所述卷积神经网络的损失函数相对于所述指定层的输出的当前梯度数据。

5.根据权利要求1所述的方法，其中，所述根据所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出的当前梯度分布，将求解所述卷积神经网络的损失函数相对于所述指定层的权重参数的当前梯度所需的至少部分数据从浮点数值转换为定点格式的数值，包括：

根据所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出在所述训练图像的各个通道上的当前梯度分布，确定相应通道的转换参数；

针对每个通道，使用所述转换参数将所述通道的所述至少部分数据从浮点格式转换为定点格式。

6.根据权利要求5所述的方法，其中，所述根据所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出在所述训练图像各个通道上的当前梯度分布，确定转换参数，包括：

针对每个通道，根据所述通道的当前梯度分布确定所述转换参数，使得在所述通道上，通过所述转换造成的所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出的当前梯度的误差最小化。

7.根据权利要求6所述的方法，其中，所述根据所述通道的当前梯度分布确定所述转换参数，使得在所述通道上，通过所述转换造成的所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出在所述训练图像的通道维度上的当前梯度的误差最小化，包括：

当所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出的当前梯度在所述训练图像的所述通道上的分布为高斯分布时，所述通道的转换参数为所述卷积神经网络的损失函数相对于所述指定层的输出的当前梯度矩阵中对应于所述通道的元素的最大绝对值；

当所述卷积神经网络的损失函数相对于所述卷积神经网络中的指定层的输出的当前梯度在所述训练图像的所述通道上的分布为倒T型分布时，根据所述卷积神经网络的损失函数相对于所述指定层的输出的当前梯度矩阵中对应于所述通道的元素的最大绝对值和上一次反向传播时的所述通道的转换参数，确定所述通道的转换参数。

8.根据权利要求1所述的方法，还包括：

将求解得到的所述卷积神经网络的损失函数相对于所述指定层的权重参数的当前梯度转换为所述浮点格式。

9.根据权利要求1所述的方法，还包括：

在所述反向传播过程中，将求解所述卷积神经网络的损失函数相对于所述指定层的输入数据的当前梯度所需的至少部分数据，使用根据所述至少部分数据的相应矩阵中的元素最大绝对值确定的转换参数，从浮点格式转换为定点格式。

10.根据权利要求9所述的方法，其中：

所述求解所述卷积神经网络的损失函数相对于所述指定层的输入数据的当前梯度所需的至少部分数据，包括：所述指定层的当前权重参数；和/或所述卷积神经网络的损失函数相对于所述指定层的输出的当前梯度数据。