[发明专利]一种基于强化学习的卷积网络通道裁剪方法及系统

说明书

本发明公开了一种基于强化学习的卷积网络通道裁剪方法及系统，具体包括获取待压缩的网络模型；利用自动深度压缩算法基于模型精度进行强化学习裁剪比例；基于链式法则求取所有滤波器的权重一阶泰勒展开的绝对值作为裁剪的重要性指标；对裁剪比例范围内的重量行排行低的滤波器，利用算法进行适应于该网络模型的裁剪，保存修剪前的网络模型；对当前的网络模型进行判断，若超出裁剪比例或者预设的限定条件，则进行相应的处理操作，得到最终的修剪的网络模型。本发明通过基于强化学习的自动深度压缩算法确定裁剪比例，通过每次自适应算法确定的步距进行修剪，再通过微调不断恢复精度，达到裁剪比例，逐步得到符合轻量化和算力要求低的网络模型。

技术领域

本发明涉及人工智能和模型压缩技术领域，特别涉及一种基于强化学习的卷积网络通道裁剪方法及系统。

背景技术

深度学习让人工智能达到了一个前所未有的高度，其可以应用在生活的各个方面，例如：图像、语音、驾驶、情感计算等，这些不同方面的发展给人们生活带来了翻天覆地的变化，极大的提升了一些领域中人们的效率。然而，一个深度学习模型通常包含数以百万计乃至千万计的参数。

现有技术的不足之处在于，目前为了模型提高准确率，模型越来越复杂并且需要极大的算力及内存资源。然而，与日益复杂的训练模型不同，在算力不足的边缘设备上，如何部署这些网络或者提高边缘设备使用这些网络推理的速度成为了一个问题，因此，需要一些方法帮助复杂的模型轻量化。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于强化学习的卷积网络通道裁剪方法及系统，以解决上述背景技术中提出的问题。

本发明采用的第一方面的技术方案：一种基于强化学习的卷积网络通道裁剪方法，具体步骤包括：

S1、获取待压缩的网络模型，所述网络模型设置有若干个滤波器，所述滤波器用于对输入至所述网络模型的图像数据进行特征提取；

S2、利用自动深度压缩算法基于模型精度的侧重方向进行强化学习裁剪比例，确定裁剪比例；

S3、基于链式法则求取所有滤波器的权重一阶泰勒展开的绝对值作为裁剪的重要性指标，判断参数的重要性；

S4、对裁剪比例范围内的重量行排行低的滤波器，利用算法进行适应于该网络模型的裁剪，保存修剪前的网络模型；

S5、对当前的网络模型的各种状态标志进行判断，若超出裁剪比例或者预设的限定条件，则进行相应的处理操作，得到最终的修剪的网络模型；

S6、通过微调恢复网络模型的精度。

作为本发明的进一步的方案：所述S2的具体步骤为：通过利用自动深度压缩算法在基于模型精度的方向下设计奖励进行学习，得到每层滤波器的最优裁剪比例。

作为本发明的进一步的方案：所述S4的具体步骤为：

根据已确定的各层滤波器的裁剪比例，设计逐步步距算法推导出目标裁剪比例；

每次通过算法获得当前最优的裁剪比例，并不断与其他模块进行协同，迭代裁剪，最终达到目标裁剪比例；

同时，在每次裁剪前，保存未裁剪的网络模型。

作为本发明的进一步的方案：所述S5网络模型判断的具体步骤为：

若当前情况下，在网络模型经过修剪且微调仍然不满足设定的精度阈值，则输出保存的上一次的网络；

若未经过修剪，则将其送入微调单元并记录状态；

若达到步骤S2获得的裁剪比例，则输出该网络模型作为最终的压缩结果模型。

本发明采用的第二方面的技术方案：一种包括如上述任一项所述的一种基于强化学习的卷积网络通道裁剪方法的系统，包括：