[发明专利]基于FPGA加速卷积神经网络框架的图片处理方法

摘要

本发明公开了一种基于FPGA加速卷积神经网络框架的图片处理方法，主要解决现有技术的资源利用率低和速度慢的问题。其方案是：1)根据设计的图片参数和FPGA资源参数，计算图片分割固定值；2)根据图片固定值确定DDR3数目，并对块ram资源进行分配；3)根据1)和2)构建卷积神经网络框架，该框架包括图片存储模块，图片数据分配模块，卷积模块，池化模块，图片存回DDR3模块，指令寄存器组；4)各个模块通过握手信号从指令寄存器组中获取控制指令，并相互配合，按照控制指令对图片数据进行处理。本发明通过FPGA加速的卷积神经网络框架，提高了资源利用率和加速效果，可用于图像分类、目标识别、语音识别和自然语言处理。

主权项

基于FPGA加速卷积神经网络框架的图片处理方法，包括：(1)参数处理:1a)读取用户输入的图片和FPGA板子资源参数，该资源参数包括：图片大小N，总块ram资源S_sum，同步动态动态随机存取内存DDR3数目P和计算功能芯片DSP数目A；1b)设计FPGA运算频率f，卷积核大小m、卷积层数J、通道数T、池化层数C、激活函数层数E、多分类函数softmax层数G、softmax层输入数I_in、softmax层输出数I_out、全连接层数Q、池化函数、激活函数；1c)根据1a)读取的数据和1b)设计的参数，计算每层图片大小值集合X，最大卷积可并行数L，理论运算速度带宽D，理论数据传输带宽Z；(2)计算图片分割的固定值：2a)根据(1)中计算得到每层图片大小值集合X，计算每层图片大小公约数M；2b)根据2a)得到的公约数和(1)中读取的总块ram资源S_sum，计算满足FPGA的块ram资源限制的图片公约数C；2c)根据2b)得到的资源限制公约数和(1)中读取的DSP资源，计算满足DSP资源限制的最大公约数作为图片分割固定值n；(3)确定DDR3数目：根据图片分割固定值n计算实际数据传输带宽H，并将该实际数据传输带宽H与理论数据传输带宽Z进行比较：如果H＞Z，则确定DDR3的数目B为2或者1+2j，j≥1的整数如果H≤Z，则确定DDR3的数目B为3或者1+4i，i≥1的整数；i≠j(4)对FPGA上的块ram进行资源分配：4a)根据(2)确定的图片分割固定值n和(1)中的通道数T，计算图片存储块ram资源S_pic；4b)根据4a)的图片存储块ram资源S_pic和(1)中总块ram资源S_sum，计算余下的块ram存储资源S_last，以及最大存储参数块ram资源S_ne，并比较两者大小：如果S_last≥S_ne，则将S_ne作为参数存储块ram资源S_par，如果S_last＜S_ne，则将S_last减去0.5Mbit，作为参数存储块ram资源S_par；(5)构建卷积神经网络框架，结合上述1a)，1b)，2c)，(3)，4a)，4b)中的参数对输入的图片进行处理：5a)设置图片存储模块，用于根据2c)、4a)和(3)中的图片分割固定值n、卷积层数J、通道数T、图片存储块ram资源S_pic和DDR3数目B，实现从DDR3中取出输入图片的像素点并存储；5b)设置图片数据分配模块，用于根据2c)、4a)和4b)的图片分割固定值n、图片存储块ram资源S_pic和参数存储块ram资源S_par，对5a)存储的图片数据进行分配；5c)设置卷积模块，用于根据2c)的图片分割固定值n，对5b)中的分配图片数据进行卷积计算功能；5d)设置池化模块，用于根据1b)的池化函数，实现对5c)卷积计算之后的图片数据进行池化处理；5e)设置图片存回模块，根据(3)和2c)中的DDR3数目B和图片分割固定值n，将5d)中池化处理之后的图片数据存回DDR3中；5f)设置指令寄存组模块，根据1a)、1b)和2c)中的图片大小N，卷积核大小m、卷积层数J、池化层数C、激活函数层数E、softmax层数G、softmax层输入数I_in、softmax层输出数I_out、全连接层输出值Q，图片分割大小n，构建指令并分配给5a)、5b)、5c)、5d)、5e)所设置的模块。