[发明专利]一种基于窗口梯度更新的神经网络训练过程中间值存储压缩方法和装置

权利要求书

1.一种基于窗口梯度更新的神经网络训练过程中间值存储压缩方法，其特征在于，该方法对神经网络训练时需要保存的激活值进行存储优化，该方法包括以下步骤：

在神经网络训练的前向传播过程中，从全部通道产生的全量的输入激活值中选择部分通道的输入激活值保存在内存中；

在神经网络训练的反向传播过程中，利用保存的部分通道的输入激活值计算梯度，以更新神经网络的权重参数；

通过窗口选择所述部分通道，通过超参数网络稠密度决定窗口大小，即窗口内包含的通道数占总通道数的比例，同时也表示保留的激活值占全量激活值的比例；其中，通道数是输入激活值的深度维上的数值。

2.根据权利要求1所述的方法，其特征在于，通过窗口选择所述部分通道的步骤包括：

确定窗口的起始位置；

根据网络稠密度确定窗口大小。

3.根据权利要求2所述的方法，其特征在于，所述确定窗口的起始位置，是根据训练时批数据的编号确定窗口的起始位置。

4.根据权利要求3所述的方法，其特征在于，窗口的起始位置等于批数据编号与总通道数取模后的结果。

5.根据权利要求2所述的方法，其特征在于，所述确定窗口的起始位置，是随机确定一个位置作为窗口的起始位置，随机数取值的范围在0到总通道数之间。

6.根据权利要求2所述的方法，其特征在于，所述根据网络稠密度确定窗口大小，包括：当窗口起始位置与窗口大小之和大于通道总数时，超出的部分从编号为0的通道开始，依次向后取值，直到窗口内实际通道数等于窗口大小为止。

7.一种采用权利要求1～6中任一项所述方法的基于窗口梯度更新的神经网络训练过程中间值存储压缩装置，其特征在于，包括：

通道选择模块，用于通过窗口选择部分通道；

输入激活值保存模块，用于在神经网络训练的前向传播过程中，将通道选择模块选择的部分通道的输入激活值保存在内存中；

梯度计算模块，用于在神经网络训练的反向传播过程中，利用保存的部分通道的输入激活值计算梯度，以更新神经网络的权重参数。

8.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～6中任一权利要求所述方法的指令。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～6中任一权利要求所述的方法。