[发明专利]一种神经网络压缩方法、设备及计算机可读存储介质

说明书

本发明公开了一种神经网络压缩方法、设备及计算机可读存储介质，该神经网络压缩方法包括：获取待压缩神经网络中多个滤波器的多个滤波器参数；将多个滤波器参数进行聚合分析，计算每个滤波器参数的特征值；基于滤波器参数的特征值对待压缩神经网络进行剪枝，得到被压缩的神经网络。通过上述方式，本发明能够保留神经网络模型更多的全局特征。

技术领域

本发明涉及计算机技术领域，特别是涉及一种神经网络压缩方法、设备及计算机可读存储介质。

背景技术

近年来，随着深度学习(Deep Learning)技术的发展，人工神经网络(ArtificialNeural Networks，ANN)被应用在越来越多的领域。卷积神经网络(Convolution NeuralNetwork，CNN)是其中具有代表性的一种网络结构，它在图像处理、语音识别、自然语言处理等领域都有应用。与此同时，卷积神经网络模型在发展的过程中也变得越来越复杂，模型参数越来越多。复杂的网络模型在提升性能的同时，也限制了其在低功耗、低宽带、低存储设备上的应用，对神经网络进行压缩可以大大降低储存与计算的需求。

发明内容

本发明主要解决的技术问题是提供一种神经网络压缩方法、设备及计算机可读存储介质，能够去除神经网络模型中的冗余，减小模型，且能够保留神经网络模型更多的全局特征。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种神经网络压缩，该神经网络压缩方法包括：获取待压缩神经网络中多个滤波器的多个滤波器参数；将多个滤波器参数进行聚合分析，计算每个滤波器参数的特征值；基于滤波器参数的特征值对待压缩神经网络进行剪枝，得到被压缩的神经网络。

其中，将多个滤波器参数进行聚合分析包括：综合比较多个滤波器参数的参数值，根据滤波器参数的参数值大小设置滤波器参数的特征值。

其中，将多个滤波器参数进行聚合分析，计算每个滤波器参数的特征值包括：计算多个滤波器参数的参数值的绝对值；将绝对值小于或等于第一阈值的滤波器参数的特征值设置为第一特征值。

其中，第一阈值为临界滤波器参数的绝对值，临界滤波器参数为多个滤波器参数中绝对值较小的前r％个滤波器参数中绝对值最大的一个，r％为剪枝率。

其中，将多个滤波器参数进行聚合分析，计算每个滤波器参数的特征值包括：计算多个滤波器参数的参数值的绝对值；将多个滤波器参数按照绝对值从小到大的顺序进行排序；将前r％个滤波器参数的特征值设置为第一特征值，r％为剪枝率。

其中，将多个滤波器参数进行聚合分析，计算每个滤波器参数的特征值包括：计算每个滤波器中多个滤波器参数的参数值的绝对值；将同一个滤波器内的多个滤波器参数的绝对值进行累加并取平均值，得到每个滤波器的参数平均值；将参数平均值小于或等于第二阈值的滤波器内的所有滤波器参数的特征值均设置为第一特征值；

其中，第二阈值为临界参数平均值，临界参数平均值为多个参数平均值中较小的前r％个参数平均值中最大的一个，r％为剪枝率。

其中，将多个滤波器参数进行聚合分析，计算每个滤波器参数的特征值包括：计算每个滤波器中多个滤波器参数的参数值的绝对值；将同一个滤波器内的多个滤波器参数的绝对值进行累加并取平均值，得到每个滤波器的参数平均值；将多个参数平均值按照从小到大的顺序进行排序；将前r％个参数平均值对应的滤波器内的所有滤波器参数的特征值设置为第一特征值，r％为剪枝率。

其中，基于滤波器参数的特征值对待压缩神经网络进行剪枝包括：对待压缩神经网络的滤波器参数和/或滤波器进行剪枝。

其中，对待压缩神经网络的滤波器参数和/或滤波器进行剪枝包括：剪裁具有第一特征值的滤波器参数。

其中，剪裁具有第一特征值的滤波器参数包括：利用结构化或非结构化的方式对具有第一特征值的滤波器参数进行剪裁。