[发明专利]一种神经网络模型的稀疏化后向传播训练方法

权利要求书

1.一种神经网络模型的稀疏化后向传播训练方法，在后向传播过程中，通过基于K大值的稀疏化处理，减少更新与实例相关度低的信息，提高深度神经网络的训练速度和训练效果；包括如下步骤：

1)在前向传播的过程中，前向传播的神经网络模型的每一层接受上层的输入向量x；通过线性变换输出向量y，通过非线性变换输出向量z，并作为下一层的输入；最后一层的输出作为整个网络模型的输出结果；

2)在后向传播过程中，神经网络模型每一层的后向传播利用上一层的输出梯度(1≤i≤n,n为向量维度)作为输入，首先对输出梯度进行K大值稀疏化处理，利用稀疏化处理后的向量进行梯度计算，得到参数的稀疏化梯度；所述参数的稀疏化梯度包括参数矩阵W的稀疏化梯度和输入向量x的稀疏化梯度；当神经网络有多层时，本层的输入向量x即为下层的输出向量，输入向量x的梯度可作为下一层的输出结果梯度传递下去；

3)根据2)中后向传播求得的稀疏化梯度，对神经网络的参数进行更新；从而实现对神经网络模型进行训练。

2.如权利要求1所述神经网络模型的稀疏化后向传播训练方法，其特征是，所述神经网络模型可以是所有采用了标准后向传播的神经网络模型。

3.如权利要求1所述神经网络模型的稀疏化后向传播训练方法，其特征是，所述神经网络模型是前馈神经网络(MLP)、循环神经网络(RNN)或长短时记忆网络(LSTM)。

4.如权利要求1所述神经网络模型的稀疏化后向传播训练方法，其特征是，步骤2)具体通过式1对输出梯度的绝对值做稀疏化处理：

其中，topk代表一个K大值稀疏化操作，即保留输入向量的所有维度的绝对值中前k大的值，k的大小小于向量z的维度n，剩余的值全部为0；

利用经式1进行稀疏化处理后的向量z’计算参数矩阵W的梯度，计算公式为式2：

利用经式1进行稀疏化处理后的向量z’计算输入向量x的梯度，计算公式为式3：

其中，{t₁,t₂,…,t_k}(1≤k≤n)代表的所有维度的绝对值中前k大的值的下标。

5.如权利要求1所述神经网络模型的稀疏化后向传播训练方法，其特征是，步骤3)中更新方法适用于所有采用了标准后向传播的训练算法。

6.如权利要求1所述神经网络模型的稀疏化后向传播训练方法，其特征是，步骤3)中更新方法适用于亚当(Adam)训练算法、自适应次梯度(Adagrad)训练算法或随机梯度下降算法(SGD)。