[发明专利]一种用于卷积神经网络的压缩算法

权利要求书

1.一种用于卷积神经网络的压缩算法，其特征在于，包括如下步骤：

步骤1：构建压缩标定模块；

步骤2：将所述压缩标定模块嵌入到原始卷积神经网络中，构建带压缩标定的卷积神经网络；

步骤3：对构建的所述带压缩标定的卷积神经网络进行训练，得到训练好的带压缩标定的卷积神经网络中每个卷积核的标定值；

步骤4：将标定值小于阈值的卷积核裁剪掉，得到裁剪后的带压缩标定的卷积神经网络；对裁剪后的带压缩标定的卷积神经网络进行训练，得到第一压缩网络；

步骤5：处理所述第一压缩网络，得到压缩后的卷积神经网络。

2.根据权利要求1所述的用于卷积神经网络的压缩算法，其特征在于，所述压缩标定模块包括依次连接的平均池化层、全连接层、ReLU激活层、恢复压缩的全连接层和Sigmoid激活层，其中，

所述平均池化层的大小为c×h×w，输出维度为c×1×1，其中c为特征图的通道数，h为卷积操作所形成特征图的高，w为卷积操作所形成的特征图的宽；

所述全连接层一个压缩比为16的全连接层组成，输出维度为其中c为特征图的通道数；

所述ReLU激活层的输出维度为其中c为特征图的通道数，ReLU激活层的数学表示为：

f(x)＝max(0,x)

其中，x是所述压缩标定模块的全连接层的输出；

所述恢复压缩的全连接层的输出维度为c×1×1，其中c为特征图的通道数；

所述Sigmoid激活层的输出维度为c×1×1，其中c为特征图的通道数，Sigmoid激活层的数学表示为：

其中，y是所述压缩标定模块的恢复压缩的全连接层的输出，e为自然底数。

3.根据权利要求1所述的用于卷积神经网络的压缩算法，其特征在于，所述步骤2包括：

将所述原始卷积神经网络中的卷积层的输出端连接到所述压缩标定模块的输入端，构建带压缩标定的卷积神经网络。

4.根据权利要求1所述的用于卷积神经网络的压缩算法，其特征在于，所述步骤3包括：

步骤31：选取训练样本集和测试样本集；

步骤32：利用所述训练样本集对所述带压缩标定的卷积神经网络按照设定的优化策略进行网络训练；

步骤33：将所述测试样本集输入至训练好的带压缩标定的卷积神经网络中，检测训练好的带压缩标定的卷积神经网络的可靠性；

步骤34：从训练好的带压缩标定的卷积神经网络中获取每个卷积核的标定值。

5.根据权利要求1所述的用于卷积神经网络的压缩算法，其特征在于，所述原始卷积神经网络为已训练好的卷积神经网络。

6.根据权利要求4所述的用于卷积神经网络的压缩算法，其特征在于，所述步骤4包括：

步骤41：依次判断每个卷积核的标定值是否小于所述阈值；

若是，则将标定值对应的所述卷积核裁剪掉，并记录裁剪计数为1；

若否，则保留所述标定值对应的卷积核，并记录裁剪计数为0；

步骤42：将所述裁剪计数累加，获取裁剪总数，判断所述裁剪总数是否大于0，

若大于，则重复执行步骤4；

若等于，则将执行步骤5。

7.根据权利要求6所述的用于卷积神经网络的压缩算法，其特征在于，所述步骤5包括：

将所述压缩标定模块从所述第一压缩网络中去除，获取压缩后的卷积神经网络；

其中，所述压缩后的卷积神经网络中的卷积层的输出为每个卷积核的输出值。