[发明专利]基于高层次综合的神经网络卷积FPGA嵌入式硬件加速器

说明书

一种基于高层次综合的神经网络卷积FPGA嵌入式硬件加速器，AXI4总线接口协议与直接存取控制器之间通过总线FIFO做为一级缓存，直接存取控制器与外部存储器和处理器通过总线连接，直接存取控制器通过一级缓存和总线分别与高并行缓存区和分段式缓存区连接；缓存区控制器分别连接高并行缓存区和分段式缓存区用于控制高并行缓存区和分段式缓存区的读写使能和地址操作，状态控制器分别连接外部存储器和处理器、卷积计算器和缓存区控制器，用于根据处理器的使能信号控制卷积计算器和缓存区控制器的工作，高并行缓存区、卷积计算器和分段式缓存区依次连接。本发明能在嵌入式移动平台上显著提高计算性能并降低资源占用。

技术领域

本发明涉及一种硬件加速器。特别是涉及一种基于高层次综合的神经网络卷积FPGA嵌入式硬件加速器。

背景技术

近些年来，基于神经网络的深度学习技术在人工智能领域大放异彩。其在图形分类、目标识别、语音处理等多个应用场景下性能优异，表现出色，已经成为越来越多人关注和研究的重要技术。深度学习技术一个重要特点是运算量特别巨大且有不断增长的趋势，其中的卷积运算占了很大一部分，用来执行通用逻辑运算的CPU(Central ProcessingUnit,中央处理器)已经不能应付如此庞大的任务。目前，比较常用的处理方法是利用GPU(Graphic Processing Unit，图形处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)和FPGA(Field-Programmable Gate Array，现场可编程门阵列)来进行专门的神经网络计算。在计算和存储资源都很有限的嵌入式移动平台上，GPU和ASIC有高成本、灵活性地、可扩展性差等缺点。

FPGA是一种硬件可编程的集成电路，其可以根据使用场景和技术特点对电路进行定制化的配置，具有极高的灵活性。HLS(High Level Synthesis)是一种通过C/C++语言描述算法和并行方式，由编译器直接生成硬件IP的电路设计方法，具有开发周期短、迭代速度快等优点。用HLS方式进行FPGA设计神经网络卷积硬件加速器并部署在嵌入式移动平台上是解决问题的有效方案。

然而，目前国内外对于此领域的技术方案存在一些问题。对于有很多卷积层的神经网络，现有技术要么把每一层都用单独的FPGA电路资源去计算，这会耗费大量的硬件资源，且在资源紧张的嵌入式平台难以实现；要么用单一的硬件电路执行所有层的卷积计算，但这时的和外部存储器的数据交换速度成了性能瓶颈。

因此，为了进一步在嵌入式平台上调高神经网络卷积计算的速度、节约FPGA硬件资源，本发明提出一种通用的、能处理所有卷积层运算的硬件加速器，并利用DMA(DirectMemory Access，直接内存存取)和AXI-Stream技术相结合的方法提升数据交换速度的结构。

发明内容

本发明所要解决的技术问题是，提供一种具有实现难度低、开发周期短、迭代速度快等优点的基于高层次综合的神经网络卷积FPGA嵌入式硬件加速器。

本发明所采用的技术方案是：一种基于高层次综合的神经网络卷积FPGA嵌入式硬件加速器，包括，直接存取控制器、AXI4总线接口协议、用于存放高并行卷积核与特征图数据的高并行缓存区、卷积计算器、用于存放分段式卷积结果的分段式缓存区、缓存区控制器和状态控制器；其中，所述AXI4总线接口协议与所述直接存取控制器之间通过总线FIFO做为一级缓存，所述直接存取控制器与外部存储器和处理器通过总线连接，所述直接存取控制器通过一级缓存和总线分别与所述高并行缓存区和分段式缓存区连接；所述缓存区控制器分别连接高并行缓存区和分段式缓存区用于控制高并行缓存区和分段式缓存区的读写使能和地址操作，所述状态控制器分别连接外部存储器和处理器、卷积计算器和缓存区控制器，用于根据处理器的使能信号控制卷积计算器和缓存区控制器的工作，所述高并行缓存区、卷积计算器和分段式缓存区依次连接。