[发明专利]卷积神经网络模型压缩方法和装置、存储介质及电子装置

说明书

本发明公开了一种卷积神经网络模型压缩方法和装置、存储介质及电子装置。其中，该方法包括：将卷积神经网络模型中的第一批量标准化层的参数合并到卷积神经网络模型中的第一卷积层中，生成包含有第一目标卷积层的第一目标神经网络模型，其中，卷积神经网络模型与第一目标神经网络模型对于相同的输入具有相同的输出；将第一目标神经网络模型中的第一目标卷积层中范数小于第一阈值的卷积核删除，得到第二目标神经网络模型；对第二目标神经网络模型进行压缩，得到第三目标神经网络模型。本发明解决了相关技术中神经网络模型的使用效率低、灵活性差的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种卷积神经网络模型压缩方法和装置、存储介质及电子装置。

背景技术

相关技术中，神经网络模型参数量巨大，难以直接应用到终端产品中。

此外，由于神经网络模型的参数量巨大，内存消耗高，造成神经网络模型的使用效率低。进一步由于内存消耗高，则仅允许在固定的场景中使用，造成神经网络模型的使用灵活性差。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种卷积神经网络模型压缩方法和装置、存储介质及电子装置，以至少解决相关技术中神经网络模型的使用效率低、灵活性差的技术问题。

根据本发明实施例的一个方面，提供了一种卷积神经网络模型压缩方法，包括：将卷积神经网络模型中的第一批量标准化层的参数合并到上述卷积神经网络模型中的第一卷积层中，生成包含有第一目标卷积层的第一目标神经网络模型，其中，上述卷积神经网络模型与上述第一目标神经网络模型对于相同的输入具有相同的输出，上述第一批量标准化层为在上述卷积神经网络模型中位于上述第一卷积层之后、且与上述第一卷积层连接的批量标准化层；将上述第一目标神经网络模型中的上述第一目标卷积层中范数小于第一阈值的卷积核删除，得到第二目标神经网络模型，其中，上述第二目标神经网络模型的内存占用率小于上述第一目标神经网络模型的内存占用率；对上述第二目标神经网络模型进行压缩，得到第三目标神经网络模型。

根据本发明实施例的另一方面，还提供了一种卷积神经网络模型使用方法，包括：获取待输入参数；将上述待输入参数输入到第三目标神经网络模型中，其中，上述第三目标神经网络模型为将卷积神经网络模型中的第一批量标准化层的参数合并到上述卷积神经网络模型中的第一卷积层中，生成包含有第一目标卷积层的第一目标神经网络模型后，删除上述第一目标神经网络模型中的上述第一目标卷积层中的目标卷积核，并对删除上述目标卷积核后的第二目标神经网络模型进行压缩得到的模型，其中，上述卷积神经网络模型与上述第一目标神经网络模型对于相同的输入具有相同的输出，上述第一批量标准化层为在上述卷积神经网络模型中位于上述第一卷积层之后、且与上述第一卷积层连接的批量标准化层；获取上述第三目标神经网络模型输出的结果。

根据本发明实施例的又一方面，还提供了一种卷积神经网络模型压缩装置，包括：合并单元，用于将卷积神经网络模型中的第一批量标准化层的参数合并到上述卷积神经网络模型中的第一卷积层中，生成包含有第一目标卷积层的第一目标神经网络模型，其中，上述卷积神经网络模型与上述第一目标神经网络模型对于相同的输入具有相同的输出，上述第一批量标准化层为在上述卷积神经网络模型中位于上述第一卷积层之后、且与上述第一卷积层连接的批量标准化层；删除单元，用于将上述第一目标神经网络模型中的上述第一目标卷积层中范数小于第一阈值的卷积核删除，得到第二目标神经网络模型，其中，上述第二目标神经网络模型的内存占用率小于上述第一目标神经网络模型的内存占用率；压缩单元，用于对上述第二目标神经网络模型进行压缩，得到第三目标神经网络模型。