[发明专利]一种面向结构剪枝结合量化的深度卷积神经网络压缩方法

权利要求书

1.一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，将预训练后的网络权重参数量化为与其数值相邻的幂值数据，根据反向传播的梯度调节各网络权重参数，通过保留各通道网络权重参数中非零数值的方式进行结构剪枝，根据各通道网络权重参数对应的幂值数据以及剪枝后权重数据非零数值的位置对剪枝后的权重进行离线编码，根据离线编码的权重进行深度卷积神经网络的训练。

2.根据权利要求1所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，根据反向传播的梯度调节各网络权重参数的方法为：在梯度为正则参数时下调幂值数据的指数级，在梯度为负责参数时上调幂值数据的指数级，在幂值数据达到边界值时保持不变。

3.根据权利要求1所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，通过保留各通道网络权重参数中非零数值的方式进行结构剪枝的方法为：组合各通道网络权重参数中的非零数值得到单通道权重参数，采用自适应算法评估单通道权重参数各bit位对网络精度损失的影响，保留对网络精度损失影响最小时单通道权重参数各bit位的数值。

4.根据权利要求1所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，对剪枝后的权重进行离线编码得到的权重编码，其最高位表示权重正负，中间位记录表示非零数值位置的通道索引，低位记录剪枝后的权重量化值。

5.根据权利要求2所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，根据反向传播的梯度调节各网络权重参数的表达式为：其中，w、w'为调节前后的网络权重参数，L为损失函数。

6.根据权利要求1所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，根据离线编码的权重进行深度卷积神经网络的前向推导通过加速器实现，该加速器包括：

总线接口单元，从外部获取包含离线权重编码的数据以及控制字；

配置寄存器单元，存储控制字；

加速器控制单元，读取控制字后生成初始配置指令，向存储调度单元发送包含初始地址以及数据量的读取外部数据指令，向并行计算单元发送工作状态转换指令；

存储调度单元，在接收到读取外部数据指令后，将通过总线接口单元获取的外部数据写入片上缓存单元；

片上缓存单元，缓存存储调度单元写入的外部数据以及并行计算单元输出的部分和结果；及，

并行计算单元，读取初始配置指令完成初始配置，接收加速器控制单元发送的工作状态转换指令完成外部数据的读取以及卷积操作，向片上缓存单元写卷积操作中的部分和结果。

7.根据权利要求6所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，所述并行计算单元的行方向复用特征值，列方向复用权重值。

8.根据权利要求6所述一种面向结构剪枝结合量化的深度卷积神经网络压缩方法，其特征在于，所述并行计算单元的基本单元为SQPE单元，所述SQPE单元包括：

译码器，读取离线权重编码，输出通道选择索引、移位幅度和方向；

特征值选择器，接收从外部读取的特征图数据以及通道选择索引，输出通道选择索引对应位置的特征值；

通用移位器，在收到启动移位累加指令后，按照译码器输出的移位幅度和方向对特征值选择器输出的特征值进行移位累加操作；

部分和累加器，在上次卷积运算输出的部分和的基础上累加本次移位累加结果，输出本次卷积运算的部分和，在收到计算完成指令时停止累加操作，在收到依次输出计算结果指令时输出各卷积操作得到的部分和；及，

控制器，输出启动移位累加指令、计算完成指令、依次输出计算结果指令。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述的压缩方法。

10.小型化嵌入式终端设备，其特征在于，包括：存储器、处理器及存储在存储器上并可以在处理器上运行的计算机程序，其特征在于，所述处理器依据设定的位宽执行所述程序时实现权利要求1所述压缩方法。