[发明专利]基于嵌入式平台的通用卷积神经网络运算架构与使用方法

说明书

本发明公开了一种基于嵌入式平台的通用卷积神经网络运算架构与使用方法，所述运算架构包括硬件部分和软件部分；所述硬件部分包括相连接的HPS和FPGA，以及外围硬件电路；所述FPGA包括一个或多个卷积神经网络运算模组；当有多个卷积神经网络运算模组时，每个卷积神经网络运算模组之间相互独立且并行；所述软件部分为运行在HPS中的嵌入式软件，用于对硬件部分进行配置和调度，以及分配FPGA的IP核能够访问的内存空间。本发明在FPGA中挂载数量可配置的相互独立且并行的卷积神经网络运算模组，实现软硬件自由裁剪，可在不同资源数量的嵌入式平台快速实现不同复杂度的卷积神经网络。

技术领域

本发明涉及，尤其是一种基于嵌入式平台的通用卷积神经网络运算架构与使用方法。

背景技术

卷积神经网络(Convolutional Neural Networks以下简称CNN)是一种高效的神经网络识别方法。CNN结构中主要包括卷积层、非线性激活层、池化层、全连接层和输出层。利用CNN实现的深度学习正在越来越多的领域发挥着重要作用，比如在军事中飞机、坦克等的识别，以及在民用中音频、视频、图像等的识别等。通用计算平台(CPU、GPU)无法实现在嵌入式环境下对性能、功耗、体积的很好平衡，然而为将卷积神经网络的研究成果应用在生活中的各行各业，在嵌入式平台对卷积神经网络进行实现是很有必要的。嵌入式平台最大的特征在于其软硬件可裁剪，且不同平台的资源大小也是不一样的。由于CNN具有功能模块通用和功能专用的特性，不同功能的卷积神经网络之间的主要区别在于其网络结构和权重参数的不同，而目前大多数FPGA加速平台只适用于固定卷积神经网络，无法快速实现网络重构，若针对每一个卷积网络都再重新设计功能模块，将会大大增加开发过程的难度和时间成本。若能设计一款能够通过对软硬件进行裁剪，使其能够快速的在不同的嵌入式平台中实现不同复杂度的神经网络运算架构，则将极大地加快神经网络技术落地应用的步伐。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于嵌入式平台的通用卷积神经网络运算架构与使用方法。

本发明采用的一种基于嵌入式平台的通用卷积神经网络运算架构，包括硬件部分和软件部分；

所述硬件部分包括相连接的HPS和FPGA，以及外围硬件电路；所述FPGA包括一个或多个卷积神经网络运算模组；当有多个卷积神经网络运算模组时，每个卷积神经网络运算模组之间相互独立且并行；

所述软件部分为运行在HPS中的嵌入式软件，用于对硬件部分进行配置和调度，以及分配FPGA的IP核能够访问的内存空间。

进一步，所述嵌入式软件通过访问FPGA的IP核的物理地址在操作系统层映射的虚拟地址，实现对卷积神经网络运算模组的访问和调度。

进一步，每个卷积神经网络运算模组包括存储单元以及若干个功能模块，所述存储单元以及每个功能模块通过总线与HPS连接，并由嵌入式软件对各功能模块进行配置和调度；所述若干个功能模块为卷积模块、非线性激活模块、池化模块、累加模块、全连接模块、输出模块和多路选择器模块；其中，所述卷积模块、非线性激活模块、池化模块、累加模块、全连接模块和输出模块相互独立；所述多路选择器模块，用于将各功能模块分时与存储单元相连，使每个功能模块通过存储单元进行数据交互。

进一步，所述功能模块中的卷积模块、非线性激活模块、池化模块、累加模块、全连接模块和输出模块，由状态机、配置模块、数据读模块、数据写模块、运算处理模块和应答模块组成；

所述状态机，用于功能模块的状态跳转；

所述应答模块，用于嵌入式软件对功能模块状态查询的应答；

所述配置模块，连接数据读模块、数据写模块和运算处理模块，用于嵌入式软件对功能模块进行参数配置；

所述数据读模块，用于从存储单元读取数据；