[发明专利]一种基于分区域梯度更新的神经网络训练过程中间值存储压缩方法和装置

权利要求书

1.一种基于分区域梯度更新的神经网络训练过程中间值存储压缩方法，其特征在于，包括以下步骤：

在神经网络训练的前向传播过程中，将特定区域的输入激活值保存在内存中；

在神经网络训练的反向传播过程中，利用保存的特定区域的输入激活值计算梯度，以更新神经网络的权重参数。

2.根据权利要求1所述的方法，其特征在于，所述区域是在输入激活值的长度和宽度方向上划分的区域。

3.根据权利要求1或2所述的方法，其特征在于，通过两个超参数确定所述特定区域，所述两个超参数为分块步长和网络稠密度。

4.根据权利要求3所述的方法，其特征在于，确定所述特定区域的步骤包括：

根据分块步长对输入激活值划分区域，并确定区域起始位置；

根据网络稠密度确定保留区域总数。

5.根据权利要求4所述的方法，其特征在于，根据训练时批数据的编号确定所述区域起始位置。

6.根据权利要求5所述的方法，其特征在于，所述区域起始位置等于批数据编号与划分区域的总数取模后的结果，以在整个训练过程中依次遍历每个区域。

7.根据权利要求5所述的方法，其特征在于，所述根据网络稠密度确定保留区域总数，包括：

当区域起始位置的编号与保留区域总数之和大于划分的区域总数时，超出的部分从编号为0的区域开始，依次向后取值，直到实际保留区域数等于保留区域总数为止。

8.一种基于分区域梯度更新的神经网络训练过程中间值存储压缩装置，其特征在于，包括：

区域划分模块，用于在输入激活值的长度和宽度方向上划分区域；

输入激活值保存模块，用于在神经网络训练的前向传播过程中，将区域划分模块划分的区域中特定区域的输入激活值保存在内存中；

梯度计算模块，用于在神经网络训练的反向传播过程中，利用保存的特定区域的输入激活值计算梯度，以更新神经网络的权重参数。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一权利要求所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一权利要求所述的方法。