[发明专利]基于激活信息的残差神经网络压缩方法

权利要求书

1.一种基于激活信息的残差神经网络压缩方法，其特征在于，该方法包括：

训练残差神经网络以确定网络中各层的权值；

基于权值获取当前隐含层中每个神经元的激活信息，利用所述激活信息计算每个神经元的梯度异常程度，由每个神经元的所述梯度异常程度计算当前隐含层的整体梯度异常程度；基于所述整体梯度异常程度分别计算每个隐含层关联组合之间进行残差操作的必要性；

根据残差操作的必要性计算每个残差操作的优选程度，利用每个残差操作的所述优选程度计算每个残差操作组合的平均优选程度，基于所述平均优选程度将多个所述残差操作组合进行从大到小排序以得到一个组合序列；依次去除所述组合序列中的一个所述残差操作组合，根据残差神经网络的损失函数计算该残差操作组合的去除合理程度，由所述去除合理程度对残差神经网络进行压缩简化。

2.如权利要求1所述的方法，其特征在于，所述基于权值获取当前隐含层中每个神经元的激活信息的方法，包括：

对当前隐含层的上一层的输入值与其对应的权值进行加权求和，将求和结果代入激活函数公式中得到当前隐含层中对应神经元的所述激活信息。

3.如权利要求2所述的方法，其特征在于，所述利用所述激活信息计算每个神经元的梯度异常程度的方法，包括：

对所述激活信息进行求导得到导数，设置激活函数的最大梯度，结合导数和最大梯度计算对应神经元的所述梯度异常程度，且导数与所述梯度异常程度呈负相关关系。

4.如权利要求1所述的方法，其特征在于，所述由每个神经元的所述梯度异常程度计算当前隐含层的整体梯度异常程度的方法，包括：

设置异常程度阈值，当所述梯度异常程度大于或等于所述异常程度阈值时，认为该神经元的梯度正常，统计当前隐含层中梯度正常对应神经元的第一数量，计算第一数量与当前隐含层中神经元的总数量之间的比值，将所述比值作为当前隐含层的所述整体梯度异常程度。

5.如权利要求1所述的方法，其特征在于，所述残差操作的必要性的计算方法，包括：

对隐含层关联组合中每个隐含层的所述整体梯度异常程度进行加权求和，进而计算异常程度平均值，将所述异常程度平均值作为对应隐含层关联组合进行残差操作的必要性，每个隐含层对应的权重是根据该隐含层的层数的先后顺序进行设置的。

6.如权利要求1所述的方法，其特征在于，所述根据残差操作的必要性计算每个残差操作的优选程度的方法，包括：

将每个残差操作按照其所述重要性从大到小进行排序，并进行编号；

计算残差操作的总数量与其当前残差操作对应编号之间的比值，结合比值和其所述必要性计算当前残差操作的优选程度。

7.如权利要求1所述的方法，其特征在于，所述残差操作组合的去除合理程度的获取方法，包括：

计算所述残差操作组合去除前后对应残差神经网络的损失函数值之间的差值，根据所述差值得到对应所述残差操作组合的所述去除合理程度，所述差值与所述去除合理程度呈正相关关系。

8.如权利要求1所述的方法，其特征在于，所述由所述去除合理程度对残差神经网络进行压缩简化的方法，包括：

按照组合序列依次计算每个所述残差操作组合的所述去除合理程度，当所述去除合理程度大于合理阈值时，将对应所述残差操作组合及其后面的所述残差操作组合进行去除。

9.如权利要求1所述的方法，其特征在于，所述残差操作组合的数量的计算公式为：

其中，SN为所述残差操作的总数量；s为所述残差操作组合中所包含的所述残差操作的数量。