[发明专利]一种应用于卷积神经网络的加速方法和加速器

权利要求书

1.一种应用于卷积神经网络的加速方法，其特征在于，包括：

S1，对于卷积神经网络中的任一层，分别计算该层输出的各特征图的稠密度；

S2，将该层输出的各所述特征图的稠密度与多个预设阈值进行比较，根据比较结果将各所述特征图进行稀疏编码；其中，不同的比较结果对应不同的稀疏编码方式；

S3，基于该层下一层的卷积层对稀疏编码后的各所述特征图和预先稀疏编码的所述卷积神经网络中的各卷积核进行卷积；

其中，所述预设阈值包括第一预设阈值和第二预设阈值；其中，所述第一预设阈值小于所述第二预设阈值；

相应地，所述步骤S2具体包括：

若各所述特征图的稠密度小于所述第一预设阈值，则将各所述特征图编码为稀疏矩阵存储格式；

若各所述特征图的稠密度大于或等于所述第一预设阈值，且小于所述第二预设阈值，则将各所述特征图中的0元素进行标记；

若各所述特征图的稠密度大于或等于所述第二预设阈值，则不对各所述特征图进行稀疏编码；

所述步骤S3具体包括：

当各所述特征图中存在所述标记时，对各所述特征图中标记对应的元素不进行计算。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括：

对于任一所述特征图，统计该特征图中非0元素的个数和该特征图中所有元素的总个数；

将该特征图中非0元素的个数与该特征图中所有元素的总个数之间的比值作为该特征图的稠密度。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3之前还包括：

计算训练好的卷积网络中各卷积核的稠密度；

若各所述卷积核的稠密度小于所述第一预设阈值，则将各所述卷积核编码为稀疏矩阵存储格式；

若各所述卷积核的稠密度大于或等于所述第一预设阈值，且小于所述第二预设阈值，则将各所述卷积核中的0元素进行标记；

若各所述卷积核的稠密度大于或等于所述第二预设阈值，则不对各所述卷积核进行稀疏编码。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3具体包括：

当各所述卷积核中存在所述标记时，对各所述卷积核中标记对应的元素不进行计算。

5.一种应用于卷积神经网络的加速器，其特征在于，包括：神经网络计算阵列模块和动态稀疏调整模块；

其中，所述动态稀疏调整模块用于计算卷积神经网络中各层输出的各特征图的稠密度，将各所述特征图的稠密度与多个预设阈值进行比较，根据比较结果对各所述特征图进行稀疏编码；其中，不同的比较结果对应的不同稀疏编码方式；

所述神经网络计算阵列模块用于对稀疏编码后的各所述特征图和预先稀疏编码的所述卷积神经网络中的各卷积核进行卷积操作；

其中，所述预设阈值包括第一预设阈值和第二预设阈值；其中，所述第一预设阈值小于所述第二预设阈值；

相应地，所述动态稀疏调整模块包括动态编码模块，所述动态编码模块具体用于：

若各所述特征图的稠密度小于所述第一预设阈值，则将各所述特征图编码为稀疏矩阵存储格式；

若各所述特征图的稠密度大于或等于所述第一预设阈值，且小于所述第二预设阈值，则将各所述特征图中的0元素进行标记；

若各所述特征图的稠密度大于或等于所述第二预设阈值，则不对各所述特征图进行稀疏编码；

所述神经网络计算阵列模块具体用于：

当各所述特征图中存在所述标记时，对各所述特征图中标记对应的元素不进行计算。