[发明专利]一种多种类型卷积的FPGA实现方法

说明书

本发明提供了一种多种类型卷积的FPGA实现方法，能够利用统一的硬件架构将多种类型的卷积部署在FPGA上进行实现，不需要针对不同的卷积类型分别设计硬件实现架构，节省了大量的硬件资源。通过分析多种类型卷积的特点将它们转换为同一种基准卷积类型使用统一的处理引擎进行实现。相比于分别在FPGA上实现这些卷积，节省了大量的硬件资源。通过优化基准卷积的运算流程，并根据其余卷积的特征分别将其转换为基准卷积进行运算。从而利用统一的硬件架构在FPGA上进行实现。提高了实现的灵活性，降低了硬件资源的开销，有效避免了传统FPGA实现方法中需要为各类型卷积分别设计实现架构所造成的资源消耗大，结构不灵活的问题。

技术领域

本发明属于图像检测识别技术领域，尤其涉及一种多种类型卷积的FPGA实现方法。

背景技术

近五年来，深度神经网络在智能图像处理领域取得了突破性进展，具有广泛的应用场景。深度卷积神经网络中存在大量的网络权重参数与计算，因此目前多数深度神经网络算法部署在CPU或GPU等高性能设备上。但是CPU、GPU的高性能需要大量的功耗支持，因此在一些功耗严格受限的应用场景中难以应用。高性能、低功耗嵌入式硬件设备为解决这一问题提供了全新的解决思路，因此基于嵌入式设备构建深度神经网络实现平台日益成为工程应用中的研究热点，基于FPGA设计深度神经网络硬件加速器是其中最为广泛的解决方案。但是在一些应用场景中，对于图像特征提取、检测识别的性能要求不断提升，所用到的深度神经网络结构越来越复杂，网络中所涉及到的卷积类型也由起初的单一类型变得更加丰富，需要为各类型卷积分别设计实现架构，但是FPGA片内逻辑与存储资源有限，难以满足为各类型卷积单独设计实现结构，使得在FPGA上实现该类包含多类型卷积的深度神经网络存在一定的技术难点。

发明内容

有鉴于此，本发明提供了一种多种类型卷积的FPGA实现方法，能够利用统一的硬件架构将多种类型的卷积部署在FPGA上进行实现，不需要针对不同的卷积类型分别设计硬件实现架构，节省了大量的硬件资源。

为实现上述目的，本发明的技术方案如下：

本发明提供了一种多种类型卷积的FPGA实现方法，包括如下步骤：

步骤一、根据所要实现的多种类型卷积的深度卷积神经网络，选取其中一种常见且具有代表性的卷积作为基准类型卷积，并采用原始循环计算过程对其进行硬件部署，使其能够在FPGA上运行；所述原始循环计算过程中，先进行行处理再进行通道处理；

步骤二、面向所述基准类型卷积设计处理引擎的结构，得到的处理引擎能够部署在FPGA上用于实现基准卷积；

步骤三、设计输入数据控制模块，用于为步骤二得到的处理引擎提供正确的输入数据；

输入数据控制模块搭配处理引擎，将基准类型卷积成功部署在FPGA中；

其中，所述输入数据控制模块包括N个BRAM，设计为乒乓缓冲区，N为基准类型卷积尺寸行数加1；

Ping缓冲区和Pang缓冲区的Bram是有序的，不能颠倒；

当需要对输入特征图进行零填充时，不需要进行额外的存储，选择零作为输出来实现填充操作；

步骤四、针对所要实现的多种类型卷积的深度卷积神经网络中，所包含的除基准类型卷积之外的其余类型卷积，制定转换方法，将其余类型卷积转换为基准类型卷积，然后应用统一的处理引擎在FPGA上进行实现，完成多种类型卷积的FPGA实现。

其中，所要实现的多种类型卷积的深度卷积神经网络包含的卷积类型有：3×3普通卷积，1×1普通卷积，步长为1、膨胀率为2的3×3空洞卷积以及步长为2、膨胀率为2的3×3空洞卷积。

其中，对于1×1卷积，通过零填充将卷积核的大小从1×1转换为基准类型卷积尺寸，与之对应的是需要将附加的零填充添加到输入要素图以获得正确的输出要素图；