[发明专利]一种模型压缩方法、装置、设备及存储介质在审
申请号: | 202310044727.9 | 申请日: | 2023-01-30 |
公开(公告)号: | CN116011519A | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 李雪;杨彤;段强;姜凯 | 申请(专利权)人: | 山东浪潮科学研究院有限公司 |
主分类号: | G06N3/0464 | 分类号: | G06N3/0464;G06N3/082 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王浩 |
地址: | 250011 山东省济*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 压缩 方法 装置 设备 存储 介质 | ||
1.一种模型压缩方法,其特征在于,包括:
获取待进行模型压缩的神经网络模型,得到待压缩神经网络模型;
在所述待压缩神经网络模型的每个卷积层后添加通道注意力模块,得到改进后的神经网络模型;
利用所述改进后的神经网络模型对预先创建的数据集进行特征提取,得到每个特征通道的权重;
利用预设权重阈值对每个所述特征通道的权重进行筛选,得到筛选后的权重,并利用所述筛选后的权重对所述改进后的神经网络模型进行剪枝操作,得到压缩后的神经网络模型。
2.根据权利要求1所述的模型压缩方法,其特征在于,所述获取待进行模型压缩的神经网络模型,得到待压缩神经网络模型,包括:
获取待进行模型压缩的目标检测模型,得到待压缩目标检测模型。
3.根据权利要求2所述的模型压缩方法,其特征在于,所述获取待进行模型压缩的目标检测模型,得到待压缩目标检测模型,包括:
获取待进行模型压缩的mobilenet-v1-ssd模型,得到待压缩mobilenet-v1-ssd模型。
4.根据权利要求1所述的模型压缩方法,其特征在于,所述利用预设权重阈值对每个所述特征通道的权重进行筛选,得到筛选后的权重,包括:
对每个所述特征通道的权重进行排序得到排序后的权重,并筛除所述排序后的权重中小于预设权重阈值的权重,得到筛选后的权重。
5.根据权利要求1所述的模型压缩方法,其特征在于,所述利用所述筛选后的权重对所述改进后的神经网络模型进行剪枝操作,得到压缩后的神经网络模型,包括:
确定出与所述筛选后的权重对应的特征,得到目标特征;
将不包含与所述目标特征对应的卷积核从所述改进后的神经网络模型中删除,得到压缩后的神经网络模型。
6.根据权利要求1所述的模型压缩方法,其特征在于,所述通道注意力模块由压缩模块和激励模块构成;其中,所述压缩模块包括全局平均池化和全局标准差池化,所述激励模块依次包括全连接层、激活函数ReLU、全连接层和激活函数Sigmoid。
7.根据权利要求1至6任一项所述的模型压缩方法,其特征在于,还包括:
在训练集上对所述压缩后的神经网络模型进行微调,得到微调后的神经网络模型;
利用验证集对所述微调后的神经网络模型的性能进行验证,若验证通过则固定所述微调后的神经网络模型的模型参数,若验证不通过则继续对所述改进后的神经网络模型进行模型压缩。
8.一种模型压缩装置,其特征在于,包括:
模型获取模块,用于获取待进行模型压缩的神经网络模型,得到待压缩神经网络模型;
添加模块,用于在所述待压缩神经网络模型的每个卷积层后添加通道注意力模块,得到改进后的神经网络模型;
特征提取模块,用于利用所述改进后的神经网络模型对预先创建的数据集进行特征提取,得到每个特征通道的权重;
权重筛选模块,用于利用预设权重阈值对每个所述特征通道的权重进行筛选,得到筛选后的权重;
模型剪枝模块,用于利用所述筛选后的权重对所述改进后的神经网络模型进行剪枝操作,得到压缩后的神经网络模型。
9.一种电子设备,其特征在于,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的模型压缩方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的模型压缩方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东浪潮科学研究院有限公司,未经山东浪潮科学研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310044727.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于量子计算的存储区域QoS分配系统
- 下一篇:一种一体式户厕