[发明专利]神经网络模型的压缩方法及相关装置

权利要求书

1.一种神经网络模型的压缩方法，其特征在于，包括：

利用神经网络模型的损失函数和零范数构建第一压缩模型，所述零范数指示所述神经网络模型中模型参数的稀疏度；

将所述零范数等价处理为连续优化项，得到与所述第一压缩模型等价的第二压缩模型，所述连续优化项以所述稀疏度的控制参数为自变量，所述连续优化项连续优化的目标值等价于所述零范数；

同步训练所述神经网络模型及所述第二压缩模型，以使得所述控制参数根据所述神经网络模型的训练误差稀疏化更新所述模型参数。

2.根据权利要求1所述的方法，其特征在于，所述将所述零范数等价处理为连续优化项，包括：

将所述零范数等价处理为连续优化的二次函数项及所述二次函数项的互补约束，所述二次函数项以所述稀疏度的控制参数为自变量，所述互补约束指示所述控制参数控制所述模型参数变为零的条件，所述二次函数项的二次项系数大于零。

3.根据权利要求1所述的方法，其特征在于，所述同步训练所述神经网络模型及所述第二压缩模型，以使得所述控制参数根据所述神经网络模型的误差稀疏化更新所述模型参数，包括：

将训练数据样本输入所述神经网络模型进行分批次训练，并利用所述第二压缩模型反向传播所述神经网络模型的梯度；

根据所述梯度更新所述控制参数及所述模型参数，以使得所述控制参数稀疏化所述模型参数，直到所述神经网络模型达到预定精度。

4.根据权利要求3所述的方法，其特征在于，所述互补约束为所述模型参数与控制向量的向量内积等于零，所述控制向量为所述模型参数中元素都为一的向量与所述控制参数的差向量；

所述利用所述第二压缩模型反向传播所述神经网络模型的梯度，包括：

利用拉格朗日乘子与所述互补约束构建第一约束项，并利用罚参数与所述互补约束构建第二约束项；

利用所述损失函数、所述二次函数项、所述第一约束项及所述第二约束项构建所述第二压缩模型对应的增广拉格朗日函数；

根据所述增广拉格朗日函数反向传播所述神经网络模型的梯度。

5.根据权利要求4所述的方法，其特征在于，所述根据所述增广拉格朗日函数反向传播所述神经网络模型的梯度，包括：

对所述增广拉格朗日函数中所述模型参数进行求导，得到所述神经网络模型的模型参数梯度。

6.根据权利要求5所述的方法，其特征在于，所述根据所述梯度更新所述控制参数及所述模型参数，以使得所述控制参数稀疏化所述模型参数，直到所述神经网络模型达到预定精度，包括：

根据所述模型参数梯度，交替进行所述模型参数及所述控制参数的更新，以使得所述控制参数根据所述梯度中的互补约束稀疏化所述模型参数，直到所述神经网络模型达到预定精度。

7.根据权利要求6所述的方法，其特征在于，所述根据所述模型参数梯度，交替进行所述模型参数及所述控制参数的更新，包括：

交替进行第一梯度下降与第二梯度下降，以交替更新所述模型参数及所述控制参数，其中，所述第一梯度下降包括：固定所述控制参数，并利用所述模型参数梯度对所述模型参数进行随机梯度下降更新，所述第二梯度下降包括：固定所述模型参数，并利用所述增广拉格朗日函数对所述控制参数进行投影梯度下降更新。

8.根据权利要求6所述的方法，其特征在于，所述根据所述模型参数梯度，交替进行所述模型参数及所述控制参数的更新，以使得所述控制参数根据所述梯度中的互补约束稀疏化所述模型参数，直到所述神经网络模型达到预定精度之后，还包括：

利用所述拉格朗日乘子与惩罚因子之和迭代更新所述拉格朗日乘子，所述惩罚因子为所述罚参数与所述二次函数项的函数值的积；

当所述互补约束的绝对值大于预定阈值时，按照预定比例增大所述罚参数。