[发明专利]一种神经网络压缩方法及装置

权利要求书

1.一种神经网络压缩方法，其特征在于，包括：

获取标签数据，将所述标签数据设置为监督数据；

获取第一神经网络，对所述第一神经网络进行压缩处理，得到第二神经网络；

以所述监督数据对所述第二神经网络进行训练，得到第三神经网络。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一神经网络进行压缩处理，得到第二神经网络，包括：

以第一数据对所述第一神经网络进行训练，得到第四神经网络，所述第一数据包含所述标签数据和第二数据，所述第二数据为将样本数据输入至目标神经网络得到的数据；

以所述监督数据对剪枝处理后的第四神经网络进行训练，得到第五神经网络；

对所述第五神经网络进行量化处理，得到所述第二神经网络。

3.根据权利要求2所述的方法，其特征在于，所述以第一数据对所述第一神经网络进行训练，得到第四神经网络，包括：

获取所述样本数据以及所述目标神经网络；

根据第三数据与所述监督数据得到第一损失函数的值，所述第三数据为将所述样本数据输入所述第一神经网络得到的数据，所述第一损失函数属于所述第一神经网络；

根据所述第二数据与所述监督数据得到第二损失函数的值，所述第二损失函数属于所述第一神经网络；

根据所述第一损失函数的值、所述第二损失函数的值与第一预设值，调整所述第一损失函数与所述第二损失函数之间的权重。

4.根据权利要求2或3所述的方法，其特征在于，所述以所述标签数据为监督数据对剪枝处理后的第四神经网络进行训练，包括：

获取所述第四神经网络中待调整权重的数量；

将所述第四神经网络的权重按从小到大的顺序进行排列，并将前n个权重调整为第二预设值，得到所述剪枝处理后的第四神经网络，所述n为所述待调整权重的数量，且所述n为正整数。

5.根据权利要求2或3所述的方法，其特征在于，所述对所述第五神经网络进行量化处理，得到所述第二神经网络，包括：

根据公式更新卷积层中的权重，得到更新权重后的第二神经网络，所述卷积层属于所述第五神经网络，所述公式为：

其中，x为所述卷积层中的权重，y为更新后的权重；

将所述更新权重后的第五神经网络的权重与第三预设值相乘，得到所述第二神经网络。

6.一种神经网络压缩装置，其特征在于，包括：

获取单元，用于获取标签数据，将所述标签数据设置为监督数据；

压缩单元，用于获取第一神经网络，对所述第一神经网络进行压缩处理，得到第二神经网络；

训练单元，用于以所述监督数据对所述第二神经网络进行训练，得到第三神经网络。

7.根据权利要求6所述的装置，其特征在于，所述压缩单元包括：

第一训练子单元，用于以第一数据对所述第一神经网络进行训练，得到第四神经网络，所述第一数据包含所述标签数据和第二数据，所述第二数据为将样本数据输入至目标神经网络得到的数据；

第二训练子单元，用于以所述监督数据对剪枝处理后的第四神经网络进行训练，得到第五神经网络；

处理子单元，用于对所述第五神经网络进行量化处理，得到所述第二神经网络。

8.根据权利要求7所述的装置，其特征在于，所述第一训练子单元还用于：

获取所述样本数据以及所述目标神经网络；

以及根据第三数据与所述监督数据得到第一损失函数的值，所述第三数据为将所述样本数据输入所述第一神经网络得到的数据，所述第一损失函数属于所述第一神经网络；

以及根据所述第二数据与所述监督数据得到第二损失函数的值，所述第二损失函数属于所述第一神经网络；

以及根据所述第一损失函数的值、所述第二损失函数的值与第一预设值，调整所述第一损失函数与所述第二损失函数之间的权重。