[发明专利]一种基于强化学习的卷积网络通道裁剪方法及系统在审
申请号: | 202210428600.2 | 申请日: | 2022-04-22 |
公开(公告)号: | CN114757350A | 公开(公告)日: | 2022-07-15 |
发明(设计)人: | 韩军伟;屈亚威;王强强;张贺晔;张鼎文;韩龙飞;徐晨初 | 申请(专利权)人: | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 合肥天明专利事务所(普通合伙) 34115 | 代理人: | 金凯 |
地址: | 230000 安徽省合肥市望江西路5089号,*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 强化 学习 卷积 网络 通道 裁剪 方法 系统 | ||
1.一种基于强化学习的卷积网络通道裁剪方法,其特征在于,包括:
S1、获取待压缩的网络模型,所述网络模型设置有若干个滤波器,所述滤波器用于对输入至所述网络模型的图像数据进行特征提取;
S2、利用自动深度压缩算法基于模型精度的侧重方向进行强化学习裁剪比例,确定裁剪比例;
S3、基于链式法则求取所有滤波器的权重一阶泰勒展开的绝对值作为裁剪的重要性指标,判断参数的重要性;
S4、对裁剪比例范围内的重量行排行低的滤波器,利用算法进行适应于该网络模型的裁剪,保存修剪前的网络模型;
S5、对当前的网络模型的各种状态标志进行判断,若超出裁剪比例或者预设的限定条件,则进行相应的处理操作,得到最终的修剪的网络模型;
S6、通过微调恢复网络模型的精度。
2.根据权利要求1所述一种基于强化学习的卷积网络通道裁剪方法,其特征在于,所述S2的具体步骤为:通过利用自动深度压缩算法在基于模型精度的方向下设计奖励进行学习,得到每层滤波器的最优裁剪比例。
3.根据权利要求1所述一种基于强化学习的卷积网络通道裁剪方法,其特征在于,所述S4的具体步骤为:
根据已确定的各层滤波器的裁剪比例,设计逐步步距算法推导出目标裁剪比例;
每次通过算法获得当前最优的裁剪比例,并不断与其他模块进行协同,迭代裁剪,最终达到目标裁剪比例;
同时,在每次裁剪前,保存未裁剪的网络模型。
4.根据权利要求1所述一种基于强化学习的卷积网络通道裁剪方法,其特征在于,所述S5网络模型判断的具体步骤为:
若当前情况下,在网络模型经过修剪且微调仍然不满足设定的精度阈值,则输出保存的上一次的网络;
若未经过修剪,则将其送入微调单元并记录状态;
若达到步骤S2获得的裁剪比例,则输出该网络模型作为最终的压缩结果模型。
5.一种包括如权利要求1-4任一项所述的一种基于强化学习的卷积网络通道裁剪方法的系统,其特征在于,包括:
裁量计算模块,用于基于强化学习利用自动深度压缩算法获得各层滤波器稀疏比,作为裁剪比例;
重要性指标模块,用于对当前未裁剪或已裁剪中的网络模型计算当前各滤波器的损失函数的对其的一阶泰勒展开的绝对值,作为裁剪的重要性指标;
裁剪执行模块,用于通过逐步修剪算法,对网络模型中指标单元计算出来的最小比例指标内的待裁剪的滤波器进行裁剪,逐步达到裁剪比例;
微调模块,用于将任意修剪后的网络模型进行微调,以提高该网络模型的精度,并将该网络模型送入重要性指标模块;
判断控制输出模块:用于判断已裁剪的卷积网络是否满足预设的模型精度阈值或达到裁剪比例,若小于精度阈值,则完成对所述卷积网络的修剪,并将之前一次修剪的卷积网络模型作为最终的压缩结果输出,若达到裁剪比例,则输出当前裁剪结果作为压缩结果,其余情况,则输入微调模块恢复精度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室),未经合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210428600.2/1.html,转载请声明来源钻瓜专利网。