[发明专利]一种神经网络压缩方法、设备及计算机可读存储介质在审
申请号: | 202011488041.1 | 申请日: | 2020-12-16 |
公开(公告)号: | CN112488303A | 公开(公告)日: | 2021-03-12 |
发明(设计)人: | 钟鲁豪;潘华东;郑佳 | 申请(专利权)人: | 浙江大华技术股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 黎坚怡 |
地址: | 310051 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 神经网络 压缩 方法 设备 计算机 可读 存储 介质 | ||
1.一种神经网络压缩方法,其特征在于,所述方法包括:
获取待压缩神经网络中多个滤波器的多个滤波器参数;
将所述多个滤波器参数进行聚合分析,计算每个所述滤波器参数的特征值;
基于所述滤波器参数的特征值对所述待压缩神经网络进行剪枝,得到被压缩的神经网络。
2.根据权利要求1所述的神经网络压缩方法,其特征在于,
所述将多个滤波器参数进行聚合分析包括:
综合比较所述多个滤波器参数的参数值,根据所述滤波器参数的参数值大小设置所述滤波器参数的特征值。
3.根据权利要求2所述的神经网络压缩方法,其特征在于,
所述将多个滤波器参数进行聚合分析,计算每个所述滤波器参数的特征值包括:
计算所述多个滤波器参数的参数值的绝对值;
将绝对值小于或等于第一阈值的滤波器参数的特征值设置为第一特征值。
4.根据权利要求3所述的神经网络压缩方法,其特征在于,
所述第一阈值为临界滤波器参数的绝对值,所述临界滤波器参数为所述多个滤波器参数中绝对值较小的前r%个滤波器参数中绝对值最大的一个,r%为剪枝率。
5.根据权利要求2所述的神经网络压缩方法,其特征在于,
所述将多个滤波器参数进行聚合分析,计算每个所述滤波器参数的特征值包括:
计算所述多个滤波器参数的参数值的绝对值;
将所述多个滤波器参数按照绝对值从小到大的顺序进行排序;
将前r%个滤波器参数的特征值设置为第一特征值,r%为剪枝率。
6.根据权利要求2所述的神经网络压缩方法,其特征在于,
所述将多个滤波器参数进行聚合分析,计算每个所述滤波器参数的特征值包括:
计算每个滤波器中多个滤波器参数的参数值的绝对值;
将同一个滤波器内的多个滤波器参数的绝对值进行累加并取平均值,得到每个滤波器的参数平均值;
将参数平均值小于或等于第二阈值的滤波器内的所有滤波器参数的特征值均设置为第一特征值。
7.根据权利要求6所述的神经网络压缩方法,其特征在于,
所述第二阈值为临界参数平均值,所述临界参数平均值为多个所述参数平均值中较小的前r%个参数平均值中最大的一个,r%为剪枝率。
8.根据权利要求2所述的神经网络压缩方法,其特征在于,
所述将多个滤波器参数进行聚合分析,计算每个所述滤波器参数的特征值包括:
计算每个滤波器中多个滤波器参数的参数值的绝对值;
将同一个滤波器内的多个滤波器参数的绝对值进行累加并取平均值,得到每个滤波器的参数平均值;
将多个所述参数平均值按照从小到大的顺序进行排序;
将前r%个参数平均值对应的滤波器内的所有滤波器参数的特征值设置为第一特征值,r%为剪枝率。
9.根据权利要求2~8任一项所述的神经网络压缩方法,其特征在于,
所述基于滤波器参数的特征值对所述待压缩神经网络进行剪枝包括:
对所述待压缩神经网络的滤波器参数和/或滤波器进行剪枝。
10.根据权利要求9所述的神经网络压缩方法,其特征在于,
所述对待压缩神经网络的滤波器参数和/或滤波器进行剪枝包括:
剪裁具有第一特征值的滤波器参数。
11.根据权利要求10所述的神经网络压缩方法,其特征在于,
所述剪裁具有第一特征值的滤波器参数包括:
利用结构化和/或非结构化的方式对所述具有第一特征值的滤波器参数进行剪裁。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大华技术股份有限公司,未经浙江大华技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011488041.1/1.html,转载请声明来源钻瓜专利网。