[发明专利]基于网络权重初始和最终状态差异的冗余权重去除方法

权利要求书

1.基于网络权重初始和最终状态差异的冗余权重去除方法，其特征在于包括如下步骤：

步骤1、先在网络模型训练之前保存其初始状态的网络权重，在训练结束后保存其最终状态的网络权重，分别对每层网络权重的初始状态和最终状态的分布信息进行直方图统计并进行曲线拟合，分别得到每层初始网络权重直方图拟合曲线ql和最终网络权重直方图拟合曲线其中下标l表示网络中的第l层网络,l的取值范围取决于网络共有卷积层和全连接层的总数；

步骤2、根据初始网络权重直方图拟合曲线ql和最终网络权重直方图拟合曲线的差异，分别确定每层网络剪枝正阈值Tl+和负阈值Tl-所在的正阈值区间和负阈值区间并根据初始网络权重直方图拟合曲线ql和最终网络权重直方图拟合曲线之间的差值，得到差值曲线fl；

步骤3、分别计算差值曲线fl在正阈值区间和负阈值区间上的斜率，选取在正阈值区间内斜率的极大值点作为网络剪枝正阈值Tl+的候选值点，加入正候选集Rl，选取在负阈值区间内斜率的极小值点作为负阈值Tl-的候选值点，加入负候选集Sl；

步骤4、按照斜率从大到小依次选取正候选集Rl中的点，将该点对应的横坐标的值作为正阈值Tl+的正临时值同时按照斜率从小到大依次选取负候选集Sl中的点，将该点对应的横坐标的值作为Tl-的负临时值i表示第i次正临时值或负临时值的选取，直至正候选集Rl或负候选集Sl中的点遍历完为止；

步骤5、将最终网络模型的第l层位于区间的网络权重置零，并在测试数据集进行第i次网络模型准确度测试，直至正候选集Rl或负候选集Sl的点遍历完为止，选取网络模型在测试数据集中取得最高准确度对应的作为网络剪枝区间(Tl-,Tl+)；

步骤6、重复步骤1‐步骤5的操作，选取除l外的其它网络层的网络剪枝区间(Tl-,Tl+)，直至选取完所有网络层的网络剪枝区间(Tl-,Tl+)；

步骤7、将最终网络模型位于网络剪枝区间(Tl-,Tl+)内的网络权重进行置零处理，实现每层网络的剪枝，得到已剪枝的网络模型；

步骤8、将得到的已剪枝的网络模型进行再训练，并保持已剪枝的网络权重在再训练的过程中始终为0，得到剪枝和再训练的网络模型；

步骤9、若剪枝和再训练的网络模型在测试数据集的准确度比最终网络模型的小于预设值，则停止操作，并保留剪枝和再训练的网络模型，否则，进行下一步操作；

步骤10、计算每层最终网络权重与初始网络权重变化幅度，通过比较网络权重变化幅度与α×Tl-或α×Tl+的大小，重新对最终网络模型的各层网络权重进行置零处理，α表示网络权重变化幅度系数，保留部分已在步骤7中被剪枝的权重；对重新剪枝的网络进行再训练，使已剪枝的权重在再训练的过程中始终保持为0；再训练结束后，重新返回步骤9。