[发明专利]基于权值敏感度的二值神经网络硬件压缩方法

权利要求书

1.基于权值敏感度的二值神经网络硬件压缩方法，其特征在于，包括以下步骤：

步骤S1，采用二值神经网络训练，以获得权值矩阵和原始准确度；

步骤S2，评估任一权值矩阵的敏感度；

步骤S3，预设敏感度阀值，划分权值矩阵的敏感集和非敏感集；

步骤S4，评估权值矩阵的非敏感集的敏感度；

步骤S5，调整敏感度阀值，获得权值矩阵的最佳非敏感集；所述最佳非敏感集的敏感度等于预设的最大准确度损失值；

步骤S6，将所述最佳非敏感集存储至新型存储器或采用近阀值/亚阀值电压技术的传统存储器中。

2.根据权利要求1所述的基于权值敏感度的二值神经网络硬件压缩方法，其特征在于，所述步骤S2中，评估任一权值矩阵的敏感度，包括以下步骤：

步骤S21，预设错误概率P，以评估新型存储器件和近阀值/亚阀值电压的不可靠度；所述P为大于0且小于1的数；

步骤S22，所述权值矩阵的任一二值神经网络权值依次以错误概率P发生错误，获得二值神经网络的第一准确度；

步骤S23，重复N次步骤S22，获得第一准确度的频率直方图；所述N为大于100的自然数；

步骤S24，求得第一准确度的频率直方图的平均值，将该平均值作为所述权值矩阵发生错误时二值神经网络到达的第二准确度；

步骤S25，求得所述权值矩阵的敏感度，所述敏感度为原始准确度与步骤S24中的第二准确度的差值。

3.根据权利要求1所述的基于权值敏感度的二值神经网络硬件压缩方法，其特征在于，所述步骤S3中，预设敏感度阀值，划分权值矩阵的敏感集和非敏感集，包括以下步骤：

步骤S31，将所述权值矩阵的敏感度按从大至小依次排序，并预设敏感度阀值；

步骤S32，将权值矩阵的敏感度大于敏感度阀值划分为敏感集，且将权值矩阵的敏感度小于或等于敏感度阀值划分为非敏感集。

4.根据权利要求1所述的基于权值敏感度的二值神经网络硬件压缩方法，其特征在于，所述步骤S4中，评估权值矩阵的非敏感集的敏感度，包括以下步骤：

步骤S41，将所述非敏感集以错误概率P发生错误，获得非敏感集的第三准确度；所述P为大于0且小于1的数；

步骤S42，重复N次步骤S41，获得第三准确度的频率直方图的平均值，求得原始准确度与所述平均值的差值并将其作为非敏感集的敏感度。

5.根据权利要求1所述的基于权值敏感度的二值神经网络硬件压缩方法，其特征在于，所述步骤S5中，调整敏感度阀值，获得权值矩阵的最佳非敏感集，包括以下步骤：

步骤S51，预设最大准确度损失值；

步骤S52，调整敏感度阈值，若非敏感集的敏感度等于最大准确度损失值，则将所述非敏感集作为最佳非敏感集，并进入步骤S6，否则，继续调整敏感度阈值，并返回步骤S3对权值矩阵的敏感集和非敏感集进行划分。

6.基于权值敏感度的二值神经网络硬件压缩方法，其特征在于，包括以下步骤：

步骤K1，采用二值神经网络训练，以获得权值矩阵和原始准确度；

步骤K2，初始化粒子群，以获得粒子的D维向量的初始化；所述D为神经网络中权值矩阵的个数；

步骤K3，添加约束条件；

步骤K4，求得粒子群中的任一粒子的适应值，求得粒子的非敏感集的敏感度；

步骤K5，更新任一粒子的历史最优值和全局最优值；

步骤K6，求得任一粒子维度值的更新速度和变化概率，并产生一随机数T；所述T为大于等于0且小于等于1的数；

步骤K7，判定任一粒子的变化概率与随机数T的大小，若随机数T小于等于变化概率，则将该粒子维度值互异变换；若随机数T大于变化概率，则该粒子维度值保持不变，以实现粒子D维向量的更新；

步骤K8，重复步骤K4至步骤K7，进行粒子的迭代操作，并判断迭代操作的次数是否等于预设的最大迭代次数，若是，则输出全局最优值，否则，返回步骤K4；利用所述全局最优值求得最佳非敏感集；

步骤K9，将所述最佳非敏感集存储至新型存储器或采用近阀值/亚阀值电压技术的传统存储器中。