[发明专利]卷积神经网络全连接层稀疏的权值矩阵的压缩方法及系统

说明书

本发明公开了一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法及系统，包括以下步骤：步骤1，获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；步骤2，将步骤1获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。本发明可提高全连接层稀疏的权值矩阵的压缩率，节省更多的存储空间。

技术领域

本发明属于计算机人工智能领域、深度神经网络优化技术领域以及图片识别技术领域，特别涉及一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法及系统。

背景技术

在人工智能领域，深度神经网络作为基石之一，其复杂性以及可移植性直接影响人工智能在生活中的应用。对深度网络的加速与压缩优化的研究，可使得人工智能更加方便的实现、更方便的服务于生活。

目前，对卷积神经网络非结构化剪枝后全连接层得到稀疏的权值矩阵，经常使用的是一种稀疏矩阵压缩方法CSR(Compressed sparse row)或CSC(Compressed sparsecolumn)。这些方法对稀疏的权值矩阵的压缩率并不是非常理想。

因此，希望提出一种新型的卷积神经网络全连接层稀疏的权值矩阵的压缩方法及系统，以提高全连接层稀疏的权值矩阵的压缩率。

发明内容

本发明的目的在于提供一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法及系统，以解决上述存在的技术问题。本发明可提高全连接层稀疏的权值矩阵的压缩率，节省更多的存储空间。

为达到上述目的，本发明采用以下技术方案：

一种卷积神经网络全连接层稀疏的权值矩阵的压缩方法，包括以下步骤：

步骤1，获取待优化卷积神经网络的全连接层稀疏的权值矩阵A，并将其分解成位置矩阵B以及非零值数组C；其中，位置矩阵B与稀疏的权值矩阵A的尺寸大小一致；在位置矩阵B中，稀疏的权值矩阵A中有非零值的对应位置的数值为1，其他位置的数值为0；

步骤2，将步骤1获得的位置矩阵B作为二值矩阵，进行满足预设图像压缩标准的无损压缩。

本发明的进一步改进在于，步骤2具体包括以下步骤：

步骤2.1，将步骤1获得的位置矩阵B进行8-邻域或24-邻域的有损压缩，获得有损压缩后的位置矩阵；在有损压缩过程中，将满足预设阈值的剔除点补回；

步骤2.2，将步骤2.1获得的有损压缩后的位置矩阵进行满足预设图像压缩标准的无损压缩。

本发明的进一步改进在于，步骤1具体包括：对待优化卷积神经网络的全连接层进行非结构化剪枝、再训练后获得稀疏的权值矩阵A。

本发明的进一步改进在于，预设图像压缩标准包括：JBIG标准或JPEG2000标准。

本发明的进一步改进在于，步骤2.1中，8-邻域或24-邻域孤立点剔除具体包括：

将步骤1获得的位置矩阵B中每一个数值为1的点当做目标点，做8-邻域或24-邻域剔除孤立点实验；8-邻域剔除孤立点包括：以目标点为中心的3*3矩阵中，其他8个点若全为0值，则目标点为孤立点，需剔除掉，否则保留目标点；24-邻域剔除孤立点包括：以目标点为中心的5*5矩阵中，其他24个点若全为0值，则目标点为孤立点，需剔除掉，否则保留目标点。

本发明的进一步改进在于，在剔除孤立点的过程中，孤立点的稀疏的权值矩阵A对应位置处的值的绝对值大于等于预设阈值时，将其保留。

本发明的进一步改进在于，阈值的确定过程具体包括：