[发明专利]一种基于FPGA的YOLO网络前向推理加速器设计方法

权利要求书

1.一种基于FPGA的YOLO网络前向推理加速器设计方法，所述加速器包括FPGA芯片和DRAM，所述FPGA芯片中的存储器BRAM作为数据缓冲器，所述DRAM作为主要存储设备，在DRAM中使用乒乓结构；其特征在于，所述加速器设计方法包括以下步骤：

(1)对原网络数据进行8bit定点数量化，得到对检测精度影响最小的小数点位置，形成量化方案，该量化过程是逐层进行的；

(2)FPGA芯片对YOLO的九层卷积网络作并行计算；所述步骤(2)中每一层卷积网络的计算过程为：

a)从DRAM中读取本轮计算所需要的权重数据，放置到BRAM中；

b)读取本层待卷积的特征图数据(FM)，完成所有输入数据准备；

c)进行卷积计算，在一轮卷积计算完成后，把BRAM中的数据再上传到DRAM中去，清空临时结果数据，然后开始下一轮的计算；

所述步骤(2)中还包括当计算到某一输出通道的最终结果时，需要进行池化操作和激活操作，具体过程如下，当对某一行逐个计算卷积结果时，把这一行结果两两划分，并把两个值中最大值记录下来，使用FPGA芯片上的逻辑资源进行保存，当计算到下一行的时候，同样对输出结果两两划分，取其中的较大值，并且与上一行中选出来的最大值进行比较，把这两个最大值中更大的那个值作为某一2*2区域中的最大值，然后与RELU激活函数的门限值进行比较，把结果保存到BRAM中，这样当对输出的某一通道进行最终结果的卷积后，同时也完成了该通道的池化操作和激活操作；

(3)位置映射。

2.根据权利要求1所述的一种基于FPGA的YOLO网络前向推理加速器设计方法，其特征在于，所述步骤(1)中某一层的量化过程为：

a)量化原网络的权值数据：先建立8bit定点数的某一种小数点位置对应的256种十进制的值，其中包含正零和负零，再使用就近原则对原始数据进行量化，量化后的数值仍采用32bit的浮点型进行表示以便于计算，得到此种量化方案的检测精度，然后遍历8种小数点位置后得到对检测精度影响最小的小数点位置，最后形成该层的权重量化方案；

b)对输入特征图先进行归一化0-1的分布，然后使用步骤a)中所述的方法进行该层输入特征图的量化；

c)把所述步骤b)中量化后的特征图作为输入，仅对该层卷积进行所有图片的前向传播，参数使用量化后的32bit值进行载入，得到的输出量作为下一层网络的输入量；

d)按照步骤a)-c)所述方法交替的量化每层的权重和输入特征图，最终得到所有层的量化方案。

3.根据权利要求1所述的一种基于FPGA的YOLO网络前向推理加速器设计方法，其特征在于，所述步骤(2)中进行第一层卷积时，首先从DRAM中加载输入特征图三通道中的一个进行卷积计算，将得到的卷积结果累加到切换输入通道后的卷积计算中，每次加载的输入特征图需要跟所有的卷积核计算完一遍后才会切换下一个输入特征区域。

4.根据权利要求1所述的一种基于FPGA的YOLO网络前向推理加速器设计方法，其特征在于，所述步骤(2)a)和b)中的BRAM设置为512数据宽度，深度设计为512个点，一块BRAM消耗7.5片RAMB36E1，输出最小设置为16bit；c)中的BRAM设置成真双端口模式，端口宽度为16bit；整个卷积网络中数据存储的开销为特征图和权重两部分，共计425片RAM36E1。

5.根据权利要求1所述的一种基于FPGA的YOLO网络前向推理加速器设计方法，其特征在于，所述步骤(2)中权重数据的存储方案为：第1-3层卷积网络共用一块BRAM，消耗7.5个RAM36E1；第4-8层的卷积网络每层各使用一块BRAM，每个BRAM消耗14.5个RAM36E1；第9层使用一块BRAM，消耗7.5个RAM36E1。