[发明专利]一种FPGA上基于通道剪裁模式的自动探索系统和方法

说明书

本发明公开了一种FPGA上基于通道剪裁模式的自动探索系统和方法。该系统部署在FPGA上确定SSD模型最佳剪裁比例；其包括敏感度分析模块、模型加载模块、FPGM剪裁器、自动化控制模块、mAP综合评估模块和性能评估模块；本发明提出了基于FPGM通道剪裁模式的自动探索方法，在达到要求的全类平均正确率mAP的基础上，通过比较各个卷积层剪枝不同比例结果，自动确定卷积层的最佳剪枝比例，以得到整体模型结构的最优压缩策略。本发明通过所提出的方法实现自动确定最优的剪裁比例和对应的头部特征提取层，进而在FPGA加速器上进行目标识别时，推理速度可以大大提升，同时权衡保证性能、功耗等评价指标较优。

技术领域

 本发明涉及FPGA 技术领域，具体的说，涉及一种FPGA上基于通道剪裁模式的自动探索系统和方法。

背景技术

单步多框目标检测SSD（Single Shot MultiBox Detector）是Wei Liu在ECCV2016上提出的一种目标检测算法，截至目前是主要的检测框架之一，相比Faster RCNN有明显的速度优势。

现当下的SSD目标识别模型一般是SSDhead（头部）+backbone（骨干网络）。SSD头部从骨干网络中的某些层提取特征，通过下采样得到不断缩小的feature map（特征图），再将这些feature map划分为nn格，n依赖于feature map的size，然后在每一格中从中心点出发，生成大小不一的anchor（一系列固定大小、宽高比的框，正方形和长方形），进而对anchor进行回归和分类得到检测框+类别+置信度。

由于机器学习领域的迅速发展，对于目标识别模型推理加速有着巨大的需求，而各类模型中若存在不规则的内存数据访问以及运算操作，部署于传统的CPU和GPU时，难以实现并行运算或不能获得高的效率和性能表现。FPGA（Field Programmable Gate Array现场可编程逻辑门阵列）因为其灵活的可编程性和并行性，成为当前研究前沿领域所青睐的部署平台。

为了使模型推理图片时可以达到更快的推理速度，需要对模型进行压缩操作，缩小模型的体积。剪枝操作即是深度学习模型中有很多冗余的卷积参数，把这些参数去掉可以大大减少参数量。剪枝完成之后在FPGA上进行目标识别时会大大加快模型目标识别的推理速度。

如图1所示是剪裁的原理：A、B、C均为feature map，A右边的W1是卷积层的参数，有多个卷积核，每个卷积核都对应一个输出通道，剪裁会把一些不重要的卷积核去掉，如虚线所示。相应的卷积之后得到的输出B的通道数会减少。B后面的卷积参数W的每个卷积核的通道数也会减少，卷积核的个数不变，最后输出的结果C的维度是和没有裁剪的时候是一样的。

在使用卷积神经网络模型进行图片识别或者推理时，一般希望模型识别越快越好，这就需要确定适合的模型剪枝率的以获得简洁的模型结构。但是我们利用人为经验以及自行尝试得到的模型结构以及模型剪裁率往往达不到最佳的模型压缩效果。

针对于模型压缩的问题在之前是通过对于模型进行剪枝得到的，通常是认为自行指定剪裁比例，且SSD头部从哪些层去提取特征也需要人为指定。

Zhu M在文献 （Gupta S. To prune, or not to prune: exploring theefficacy of pruning for model compression[J]. arXiv: Machine Learning, 2017.）中确定了剪枝后的稀疏模型可以在保证模型精度基本不变的情况下，较好改善模型压缩效果。