[发明专利]剪枝模块的确定方法、装置及计算机可读存储介质

说明书

本申请公开了一种剪枝模块的确定方法、装置及计算机可读存储介质，剪枝模块的确定方法包括：获取待剪枝神经网络的输入任务和任务数量，以及所述待剪枝神经网络的组成模块的输出信息；根据所述输入任务、所述任务数量和所述输出信息确定所述组成模块的任务关联度；根据所述任务数量和所述输出信息确定所述组成模块的输入信息保留度；根据所述任务关联度和所述输入信息保留度确定所述组成模块的重要性指标值；根据所述重要性指标值确定所述待剪枝神经网络中的剪枝模块。

技术领域

本申请涉及神经网络压缩技术领域，尤其涉及一种剪枝模块的确定方法、装置及计算机可读存储介质。

背景技术

神经网络在计算机视觉、自然语言处理等众多领域取得重大突破，但是，在具体的应用过程中，神经网络的计算复杂度与参数存储需求量都比较高，导致其无法部署于一些资源有限的设备上。为了扩增神经网络的适用范围，通常可通过神经网络剪枝的方式进行神经网络压缩并降低神经网络的计算复杂度与参数存储需求量。

然而，目前已有的神经网络剪枝方案通常都是基于神经网络中的权重参数或输出特征图的数据特征来评估网络结构中不同部分的重要程度，然后根据该重要程度进行剪枝操作。如此，在基于数据驱动评估网络结构中不同部分的重要程度时，仅考虑到输出数据本身的数据特性，导致在根据所评估的重要程度进行剪枝时的剪枝准确性有待进一步提高。

技术问题

本申请实施例通过提供一种剪枝模块的确定方法、装置及计算机可读存储介质，旨在解决基于数据驱动评估网络结构中不同部分的重要程度时，仅考虑到输出数据本身的数据特性，导致在根据所评估的重要程度进行剪枝时的剪枝准确性有待进一步提高的技术问题。

技术解决方案

本申请实施例提供了一种剪枝模块的确定方法，所述剪枝模块的确定方法，包括：

获取待剪枝神经网络的输入任务和任务数量，以及所述待剪枝神经网络的组成模块的输出信息；

根据所述输入任务、所述任务数量和所述输出信息确定所述组成模块的任务关联度；

根据所述任务数量和所述输出信息确定所述组成模块的输入信息保留度；

根据所述任务关联度和所述输入信息保留度确定所述组成模块的重要性指标值；

根据所述重要性指标值确定所述待剪枝神经网络中的剪枝模块。

在一实施例中，所述根据所述输入任务、所述任务数量和所述输出信息确定所述组成模块的任务关联度的步骤包括：

获取当前网络层级中所述组成模块的目标序号；

确定当前网络层级中序号小于或等于所述目标序号的目标组成模块；

根据各个所述目标组成模块的输出信息与所述输入任务确定各个所述目标组成模块的输入任务保留度和输入输出信息总和；

根据所述任务数量、所述输入任务保留度和所述输入输出信息总和确定所述组成模块的任务关联度。

在一实施例中，所述输入任务包括至少一张输入任务图，所述输出信息包括输出特征图，所述根据各个所述目标组成模块的输出信息与所述输入任务确定各个所述目标组成模块的输入任务保留度和输入输出信息总和的步骤包括：

对各个所述目标组成模块的输出特征图的分辨率进行调节，以使所述输出特征图的分辨率与所述输入任务图的分辨率一致；

对所述输入任务图和调节后的所述输出特征图进行二值化处理；

对处理后的所述输入任务图和处理后的所述输出特征图取交集，得到各个所述目标组成模块的输入任务保留度；