[发明专利]基于激活信息的残差神经网络压缩方法

说明书

本发明涉及人工智能技术领域，具体涉及一种基于激活信息的残差神经网络压缩方法。该方法训练残差神经网络以确定网络中各层的权值；基于激活信息获取每层隐含层的整体梯度异常程度，由整体梯度异常程度分别计算每个隐含层关联组合之间进行残差操作的必要性；根据必要性对每个残差操作组合的去除合理程度，由去除合理程度对残差神经网络进行压缩简化。通过对残差操作进行必要性和去除合理性评估来去除神经网络中影响较小的残差操作，以实现神经网络的压缩，从而降低神经网络对硬件设备存储空间和计算性能的要求，以便能够布置于低功耗的设备上。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于激活信息的残差神经网络压缩方法。

背景技术

为了增加网络的特征提取能力及推理的准确性，使得损失函数能更快得收敛且收敛值更低，往往会增加神经网络的层数来达到目的。而网络层数增加后，实际却总是伴有梯度消失或者梯度爆炸的问题。为了解决该问题，目前是通过神经网络内部的残差操作来解决的。

但是当前网络中有些残差操作其实是作用不大的，但仍是占据一定的计算。所以为了将网络应用于低功耗设备上，则需要对网络中影响不大的残差操作进行去除，以实现网络的压缩。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于激活信息的残差神经网络压缩方法，所采用的技术方案具体如下：

训练残差神经网络以确定网络中各层的权值；

基于权值获取当前隐含层中每个神经元的激活信息，利用所述激活信息计算每个神经元的梯度异常程度，由每个神经元的所述梯度异常程度计算当前隐含层的整体梯度异常程度；基于所述整体梯度异常程度分别计算每个隐含层关联组合之间进行残差操作的必要性；

根据残差操作的必要性计算每个残差操作的优选程度，利用每个残差操作的所述优选程度计算每个残差操作组合的平均优选程度，基于所述平均优选程度将多个所述残差操作组合进行从大到小排序以得到一个组合序列；依次去除所述组合序列中的一个所述残差操作组合，根据残差神经网络的损失函数计算该残差操作组合的去除合理程度，由所述去除合理程度对残差神经网络进行压缩简化。

进一步地，所述基于权值获取当前隐含层中每个神经元的激活信息的方法，包括：

对当前隐含层的上一层的输入值与其对应的权值进行加权求和，将求和结果代入激活函数公式中得到当前隐含层中对应神经元的所述激活信息。

进一步地，所述利用所述激活信息计算每个神经元的梯度异常程度的方法，包括：

对所述激活信息进行求导得到导数，设置激活函数的最大梯度，结合导数和最大梯度计算对应神经元的所述梯度异常程度，且导数与所述梯度异常程度呈负相关关系。

进一步地，所述由每个神经元的所述梯度异常程度计算当前隐含层的整体梯度异常程度的方法，包括：

设置异常程度阈值，当所述梯度异常程度大于或等于所述异常程度阈值时，认为该神经元的梯度正常，统计当前隐含层中梯度正常对应神经元的第一数量，计算第一数量与当前隐含层中神经元的总数量之间的比值，将所述比值作为当前隐含层的所述整体梯度异常程度。

进一步地，所述残差操作的必要性的计算方法，包括：

对隐含层关联组合中每个隐含层的所述整体梯度异常程度进行加权求和，进而计算异常程度平均值，将所述异常程度平均值作为对应隐含层关联组合进行残差操作的必要性，每个隐含层对应的权重是根据该隐含层的层数的先后顺序进行设置的。

进一步地，所述根据残差操作的必要性计算每个残差操作的优选程度的方法，包括：

将每个残差操作按照其所述重要性从大到小进行排序，并进行编号；