[发明专利]一种基于FPGA的支持通道分离卷积的神经网络加速器

权利要求书

1.一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：该神经网络加速器包括Ping-Pong寄存器文件模块、可配置数据流的ORMU阵列、功能单元以及存储器接口模块；

所述的Ping-Pong寄存器文件模块通过配置总线接受来自外部控制处理器的配置信息以及启动计算等控制命令，根据相关配置和控制信息，对数据流进行配置并控制计算过程，同时也向外部控制器发送加速器各单元状态信息以及计算完成中断信号；

可配置数据流的ORMU阵列包含4片独立的可配置数据流的ORMU阵列片；所述的可配置数据流的ORMU阵列片通过可配置的片上网络将片上存储器和ORMU计算单元互联，以满足不同数据带宽需求的神经网络的计算；

功能单元模块接收经ORMU阵列计算完成得到的输出特征值，对其进行偏置加、归一化、激活以及池化等操作，最终输出神经网络的计算结果；

存储器接口模块实现读取存储于外部存储器的输入特征值和权重值，以及将输出特征值写入外部存储器。

2.如权利要求1所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述Ping-Pong寄存器文件模块包含配置寄存器组，命令寄存器组以及状态寄存器组，其中配置寄存器组存储卷积神经网络基本参数以及ORMU阵列数据流配置信息，同时采用Ping-Pong操作，即采用两组配置寄存器组，计算单元在采用第一组的配置信息时，CPU可以通过第二组配置寄存器组配置下一层的参数，通过此种机制实现加速器在不同层计算的切换，隐藏CPU的再配置时间。

3.如权利要求1所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述可配置数据流的ORMU阵列包括主路由器簇、子路由器簇、全局缓冲区簇与ORMU簇，其中全局缓冲区簇用以存放输入特征值和计算部分和；子路由器簇和主路由器簇用于将全局缓冲区和ORMU互联，根据不同神经网络存在的数据复用机会以及数据带宽需求的差异，将片上网络配置成不同数据流模式；ORMU簇通过输出特征值行稳定完成输出特征值的行映射，并尽可能的提高数据复用，以高效的完成卷积计算。

4.如权利要求3所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述的全局缓冲区簇包含3个输入缓冲子区和4个部分和缓冲子区；输入缓冲子区存储来自外部存储器的输入特征值，部分和缓冲区存取ORMU簇计算卷积过程中产生的部分和；全局缓冲区簇中的缓冲子区与路由器簇中的相应的子路由器单独互联。

5.如权利要求3所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述主路由器簇、子路由器簇包含3个输入路由器、3个权重路由器以及4个部分和路由器，分别对应输入特征值缓冲区，权重缓冲区以及部分和缓冲区；权重路由器直接与外部存储器互联；每一个路由器均与ORMU簇中所有的ORMU互联。

6.如权利要求5所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述主路由器簇、子路由器簇根据卷积神经网络的结构不同配置成不同的数据流模式，包括单播，组多播，交叉多播以及广播。

7.如权利要求3所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述ORMU簇由1*4个ORMU单元构成，ORMU单元包含3个输入寄存器栈，1个部分和寄存器栈，3个由SRAM构成的权重缓存区以及3个乘加法器。

8.如权利要求7所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述ORMU单元支持传统卷积、通道分离卷积以及全连接的映射和计算。

9.如权利要求1所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述功能单元包括4片功能片，分别对应4片可配置的ORMU阵列用以实现。

10.如权利要求1所述的一种基于FPGA的支持通道分离卷积的神经网络加速器，其特征在于：所述存储器接口模块包括用于读取输入特征值的DMA_IFM、读取权重的DMA_WT以及将输出特征值写入外部存储器的DMA_OFM三个DMA。