[发明专利]一种基于FPGA的卷积神经网络IP核设计

说明书

本发明公开了一种基于FPGA的卷积神经网络IP核设计，基于HLS开发工具对卷积神经网络进行IP核封装，该卷积神经网络IP核包括数据输入，IP核卷积神经网络计算，分类数据输出。本发明提供的IP核从CNN的计算过程以及FPGA的硬件结构出发，采用HLS开发工具在HLS上对卷积神经网络进行IP核编写以及优化，在Vivado上将IP核进行硬件整合与实现。实验结果表明，本发明能在FPGA上实现卷积神经网络的计算，并且运算时间为30.065ms。

技术领域

本发明属于神经网络加速技术领域，具体涉及一种基于FPGA的卷积神经网络IP核设计。

背景技术

随着人工智能的蓬勃发展，几乎各个行业和领域都开始运用人工智能来解决实际问题，该技术被广泛地应用于图像识别，语音识别，医疗卫生以及自动驾驶等各个领域，相信该技术在未来将会覆盖到更多的实际应用场所当中。人工智能的快速发展得益于各种深度学习算法的研究突破，其中包含的深度卷积神经网络(CNN)是一种经典的深度学习算法，该算法通过对输入图像进行特征提取与计算等操作来完成目标物的识别，检测和分割等多种任务。

HLS是Xilinx发布的与Vivado套件集成在一起的开发工具。HLS可看做一个IP封装工具，Vivado工具设计以不同的功能IP为核心，所有的功能模块都可以看做并封装为IP核，最后由Vivado将所有IP核集成起来，实现相应功能。HLS可以将C/C++等语言直接转换为RTL设计，并且对综合出的电路在HLS上可以直接进行优化，可以让程序员极大地缩短开发时间。

目前，许多CNN是在通用处理器上(Central Processing Unit，CPU)上通过软件方式实现，然而受限于CPU采用串行的计算方式，使得计算效率不高。FPGA作为一种可编程的器件，具有计算资源丰富、灵活可配、开发周期短等优点，很适合用来实现更新极快的深度学习算法。

目前学术界有很多关于FPGA上的深度学习研究，2009年就有人进行了深入研究，Farabet等人当时使用FPGA来实现卷积神经网络，最终在Virtex-4系列芯片上实现了一个卷积计算单元操作，对后续的研究者们起到了很大的启发作用。在2010年Chakradhar等人考虑了CNN计算过程中输入输出特征图的并行性来进行加速，Sankaradas等人则使用了卷积计算过程中间的卷积核计算的并行性进行加速计算。2018年，北京邮电大学的钟楠对FPGA的卷积神经网络关键技术进行了研究与实现，其选用Virtex-7系列芯片实现了改良后的LeNet-5网络，并在计算过程中采用了16位定点量化。

发明内容

本发明的目的是对卷积神经网络的计算进行加速，本发明利用HLS开发工具将卷积神经网络中的权重参数初始化进IP核中，提出了一种基于FPGA的卷积神经网络IP核设计。本发明的方法能在资源损耗较低的情况下，完成卷积神经网络的计算。

为实现上述目的，按照本发明的一个方面，提供了一种基于FPGA的卷积神经网络IP核设计，包括数据输入模块，IP核卷积神经网络计算模块，分类数据输出模块。其中，数据输入模块数据输入基于PCIE及PC上位机实现，IP核卷积神经网络计算模块基于Caffe框架和HLS开发工具实现，分类数据输出基于PCIE及PC上位机实现。

其中，数据输入模块用于数据预处理，即调整图片尺寸大小及调整后图片像素值的提取：通过PC上位机软件打开一张图片，将该图片的尺寸调整为32*32大小。对调整尺寸后的图片提取像素值，提取像素值后通过PCIE将提取的像素值从PC机上传送到FPGA上，像素值再由fifo传输到IP核卷积神经网络计算模块。