[发明专利]一种基于PYNQ的无预选框检测系统

说明书

本发明公开了一种基于PYNQ的无预选框检测系统，部署在FPGA上，其特征在于，所述系统包括：预处理模块、预先建立和训练好的检测模型和后处理模块；其中，所述预处理模块，用于将光学遥感图形进行裁剪和归一化处理；所述检测模型为基于CenterNet算法，采用分离卷积、剪枝、蒸馏及量化模型压缩方法，提取得到的精简型模型，用于在保证前向推断速度的同时，通过若干次循环的进行分段量化缩放系数和后处理融合对预处理后的图形进行检测，输出包含定位、回归和中心偏移的检测结果至后处理模块；所述后处理模块，用于根据检测结果输出带有标记框的图片，完成预测。本发明的系统实现了在硬件端快速部署采用通用框架训练的检测网络。

技术领域

本发明涉及计算机视觉的实际应用领域，适用于无预选框检测模型在FPGA开发板部署领域，尤其涉及一种基于PYNQ的无预选框检测系统。

背景技术

现阶段，随着人工智能技术的崛起，卷积神经网络在图像分类、目标检测、视频追踪等方面取得了卓越的效果，在生产生活、安保安防等实际应用场景中具备广泛的应用价值。然而由于卷积神经网络的参数量高，层数深等特性，使得其在实际资源受限的硬件平台上部署困难。因此，基于深度卷积模型的压缩算法及硬件部署等方面的研究具备十分重要的现实意义。

研究人员常采用量化的模型压缩方法将复杂网络部署于边缘端。算法层面的量化训练是指将参数值(weight)和激活值(Activation)缩放为一定范围内的定点数，而二者的缩放系数保持浮点精度。Raghuraman Krishnamoorthi提出了关于量化及反量化的具体方式和步骤，在GPU或CPU中可直接实现。但对于全定点运算的FPGA来说，其部署和CPU端模拟存在着不完全匹配现象，对研究人员直接部署硬件造成较大困难。首先，两个平台的数据类型及精度不同。现阶段算法常用PyTorch框架。但PyTorch没有低比特定点数的数据类型，须用浮点数来代替定点数进行伪量化，这在计算精度上造成CPU模拟结果和FPGA实际结果有所不同。其次，算法方面的差异。传统量化算法大多考虑参数值和激活值的量化，并将缩放系数视为浮点数。然而在实际部署中，缩放系数和偏移值也需要量化为定点数。由于参数值和激活值的表达范围是一定的，各通道间量级的差异性便体现为缩放系数值的不同。对缩放系数的量化采取单纯的截断操作会造成大量精度损失。最后，网络结构的差异。在PyTorch框架计算中，卷积层和激活层是无关联的两个独立层。但FPGA要求卷积运算输出定点值结果，即激活值需要量化为下层卷积输入可用的定点数。根据以上三个方面的差异，直接部署FPGA会造成算法精度的大幅下跌，尤其是针对多尺度多类别的检测算法。由于光学遥感目标具备尺度差异大，疏密差异大等特点，常用的基于预选框的检测算法的精度并不理想且后处理过程(非极大值抑制等操作)复杂，如YOLO等。

发明内容

本发明的目的在于克服现有技术缺陷，提出了一种基于PYNQ的无预选框检测系统。

为了实现上述目的，本发明提出了一种基于PYNQ的无预选框检测系统，部署在FPGA上，所述系统包括：预处理模块、预先建立和训练好的检测模型和后处理模块；其中，

所述预处理模块，用于将光学遥感图形进行裁剪和归一化处理；

所述检测模型为基于CenterNet算法，采用分离卷积、剪枝、蒸馏及量化模型压缩方法，提取得到的精简型模型，用于在保证前向推断速度的同时，通过若干次循环的进行分段量化缩放系数和后处理融合对预处理后的图形进行检测，输出包含定位、回归和中心偏移的检测结果至后处理模块；

所述后处理模块，用于根据检测结果输出带有标记框的图片，完成预测。

作为上述系统的一种改进，所述预处理模块的具体处理过程包括：对接收的光学遥感图像进行裁剪处理，经归一化处理得到符合预设尺寸和像素范围值的预处理图像。

作为上述系统的一种改进，所述检测模型的主干网络为ResNet_9，包括串联的残差卷积层、分支检测层和后处理融合层；其中，