[发明专利]一种卷积网络模型压缩方法、系统及存储介质在审
申请号: | 202110797243.2 | 申请日: | 2021-07-14 |
公开(公告)号: | CN113361697A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 李卫东;刘平涛;罗博文;张招 | 申请(专利权)人: | 深圳思悦创新有限公司;武汉莱克斯瑞科技发展有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063;G06N3/08;G06K9/62 |
代理公司: | 北京知呱呱知识产权代理有限公司 11577 | 代理人: | 胡乐 |
地址: | 518101 广东省深圳市宝安区沙井*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 卷积 网络 模型 压缩 方法 系统 存储 介质 | ||
1.一种卷积网络模型压缩方法,其特征在于,包括:
采集图像数据并制作训练数据集,利用深度学习框架搭建卷积网络模型,并对所述卷积网络模型执行如下步骤:
利用所述训练数据集对所述卷积网络模型进行通道稀疏正则化训练,直到所述卷积网络模型收敛;
利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝;
对剪枝后的卷积网络模型进行微调,并判断微调后的卷积网络模型是否收敛;
若所述微调后的卷积网络模型收敛,则保存所述微调后的卷积网络模型的模型参数,得到压缩后的卷积网络模型;若所述微调后的卷积网络模型不收敛,则重复上述所述步骤。
2.根据权利要求1所述的卷积网络模型压缩方法,其特征在于,所述采集图像数据并制作训练数据集,利用深度学习框架搭建卷积网络模型包括:
根据应用场景采集图像数据并制作训练数据集;
计算所述训练数据集的均值和标准差;
根据所述均值和所述标准差对所述训练数据集做归一化处理,得到预处理后的训练数据集;
根据所述应用场景包含的类别数量,配置卷积网络模型的通道数量;
所述利用所述训练数据集对所述卷积网络模型进行通道稀疏正则化训练包括:
利用所述预处理后的训练数据集对所述卷积网络模型进行通道稀疏正则化训练。
3.根据权利要求2所述的卷积网络模型压缩方法,其特征在于,所述利用所述预处理后的训练数据集对所述卷积网络模型进行通道稀疏正则化训练包括:
将所述预处理后的训练数据集输入所述卷积网络模型,对所述卷积网络模型进行通道稀疏正则化训练,得到所述卷积网络模型的输出值、更新后的权重参数和BN层的缩放因子。
4.根据权利要求3所述的卷积网络模型压缩方法,其特征在于,所述缩放因子的个数与BN层的层数相同。
5.根据权利要求1所述的卷积网络模型压缩方法,其特征在于,所述利用BN层的缩放因子对收敛后的卷积网络模型的通道进行剪枝包括:
在搭建卷积网络模型时,在所述卷积网络模型的卷积层之后插入BN层,通过对所述卷积网络模型进行训练,得到BN层的缩放因子和平移参数;
利用所述BN层的缩放因子和所述平移参数,对所述收敛后的卷积网络模型的通道进行剪枝。
6.根据权利要求5所述的卷积网络模型压缩方法,其特征在于,所述对所述收敛后的卷积网络模型的通道进行剪枝包括:
将所述收敛后的卷积网络模型的每个通道对应的BN层的缩放因子的绝对值按照排序规则进行排序;
截取排序后的相应位置的BN层的缩放因子作为所述收敛后的卷积网络模型的所有层的全局阈值;
判断所述收敛后的卷积网络模型的每个通道对应的BN层的缩放因子是否小于所述全局阈值;
若是,则剪去小于所述全局阈值的BN层的缩放因子对应的所述收敛后的卷积网络模型的通道。
7.一种卷积网络模型压缩系统,其特征在于,所述系统包括:处理器和存储器;
所述存储器用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如权利要求1-6任一项所述的方法。
8.一种计算机存储介质,其特征在于,所述计算机存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于被一种卷积网络模型压缩系统执行如权利要求1-6任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳思悦创新有限公司;武汉莱克斯瑞科技发展有限公司,未经深圳思悦创新有限公司;武汉莱克斯瑞科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110797243.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于鸡粪便的处理再利用方法
- 下一篇:一种用于审计业务的文本自动分类方法