[发明专利]一种卷积神经网络-图卷积神经网络可重构硬件加速架构

权利要求书

1.一种卷积神经网络-图卷积神经网络可重构硬件加速系统，其特征在于：

包括权重静态存储控制单元、数据静态存储控制单元、状态控制单元、重排图像块为矩阵列方法单元、处理元件运算阵列、邻接矩阵运算单元、配置寄存器和激活函数与池化运算单元；

所述状态控制单元，用于完成整个系统架构的状态跳转，以控制神经网络数据和权重数据的存储调用以及神经网络运算操作的执行顺序；

如果是卷积神经网络模式，状态控制单元的状态跳转顺序为：空闲-输入数据存储-重排图像块为矩阵列方法-神经网络运算-激活池化-中间数据存储；

如果是图卷积神经网络模式，状态控制单元的状态跳转顺序为：空闲-输入数据存储-神经网络运算-邻接矩阵运算-激活池化-中间数据存储；此时状态控制单元还负责将上位机传输的邻接矩阵数据交给邻接矩阵运算单元存储起来；

所述权重静态存储控制单元，用于完成上位机训练完毕的权重数据的存储；上位机通过总线将权重数据存储进该单元内置的权重静态存储器；

神经网络运算前，状态控制单元读取权重静态存储控制单元中神经网络的权重数据，将权重数据与图像或者图数据在处理元件运算阵列中进行乘加运算；

如果是卷积神经网络模式，权重静态存储控制单元存储经过上位机通过重排图像块为矩阵列方法转换完毕的每一层卷积神经网络的权重数据；

如果是图卷积神经网络模式，权重静态存储控制单元存储每一层图卷积神经网络的权重数据；

所述数据静态存储控制单元，用于完成上位机传输的输入数据和神经网络计算完毕的中间数据的存储；

如果是卷积神经网络模式，数据静态存储控制单元存储上位机输入的图像数据，以及每一层神经网络计算完毕后的中间图像数据；

如果是图卷积神经网络模式，数据静态存储控制单元存储上位机输入的初始图矩阵，和每一层神经网络计算完毕后的中间图矩阵；

所述重排图像块为矩阵列方法单元，用于在卷积神经网络模式下，每一层神经网络运算前，将数据静态存储控制单元存储的数据转换成能够与权重数据进行乘加的数据；该单元将得到配置寄存器的卷积核尺寸、通道数、步长数据，将属于同一覆盖位置的不同通道的所有数据通过重排图像块为矩阵列方法展成一行；图卷积神经网络模式下该单元使能为低，将不会被使用；

所述处理元件运算阵列，内置至少两个可同时执行乘法运算的处理元件，用于对权重数据与图像数据或图数据进行高并行的乘加运算，从而实现乘加运算的效率提升；

如果是卷积神经网络模式，神经网络运算结束后的数据直接交给激活函数与池化运算单元；

如果是图卷积神经网络模式，神经网络运算结束后的数据送入邻接矩阵运算单元，与邻接矩阵数据进行加法运算，然后再交给激活函数与池化运算单元处理；

所述邻接矩阵运算单元，用于在图卷积神经网络模式存储邻接矩阵数据，与神经网络运算后的数据进行加法运算；卷积神经网络模式，该单元使能为低，将不会被使用；

所述配置寄存器，用于在系统架构启动前进行相应的神经网络模型参数配置，包括网络参数寄存器、模式选择寄存器和中断寄存器；通过上位机配置相应的神经网络类型、神经网络层数、各层权重尺寸、步长、填充、数据尺寸和中断寄存器；系统架构在运行过程中，配置寄存器的数据作为全局数据可以直接被系统中各个单元读取；状态控制单元读取配置寄存器内的神经网络层数、权重尺寸和数据尺寸，从而正确读出权重静态存储控制单元内置权重静态存储器指定地址区间的权重数据，以及数据静态存储控制单元内置数据静态存储器指定地址区间图或图像数据；重排图像块为矩阵列方法单元读取权重尺寸，步长信息，才能将存储的图像数据转换成能够用于与权重数据运算的图像数据；同时，支持系统异常时的中断上报，中断信号会被存储在中断寄存器中；

所述激活函数与池化运算单元，对经过神经网络运算的数据先进行激活运算，再进行池化操作；进行了激活运算和池化运算后，数据存储到数据静态存储控制单元中。

2.如权利要求1所述卷积神经网络-图卷积神经网络可重构硬件加速系统，其特征在于：所述状态控制单元采用有限状态机FSM进行状态跳转。

3.如权利要求1所述卷积神经网络-图卷积神经网络可重构硬件加速系统，其特征在于，工作流程如下：

步骤1、上位机通过总线写入数据：

根据上位机写入的神经网络模式为卷积神经网络模式0或图卷积神经网络模式1，对配置寄存器进行相应配置数据的写入，配置寄存器包括模式选择寄存器、网络参数寄存器和中断寄存器；

写入配置数据：神经网络类型、网络层数、各层权重尺寸、步长、填充、数据尺寸和中断类型命令；配置数据的写入需要在每次神经网络运算开始前完成，神经网络运算中途不允许对配置寄存器进行配置数据的写入，否则将产生中断信号；

并将神经网络各层权重数据存储到权重静态存储控制单元，输入图像数据或图数据存储到数据静态存储控制单元；邻接矩阵数据通过状态控制单元存储到邻接矩阵运算单元；

步骤2、上位机给状态控制单元启动信号，开始工作；

此时状态控制单元读取配置寄存器内的配置数据：读取模式选择寄存器中神经网络类型域段,0为卷积神经网络模式，1为图卷积神经网络模式；

状态控制单元根据读取为0/1选择相应的神经网络模式，从而读取网络参数寄存器中的网络层数、各层卷积核尺寸、步长、填充、数据尺寸域段；

步骤3、状态控制单元根据步骤2获取的神经网络模式和相应的参数，读出存储在权重静态存储控制单元和数据静态存储控制单元内的数据；

卷积神经网络模式下，数据静态存储控制单元内的图像数据经过重排图像块为矩阵列方法单元，启动对数据的重排图像块为矩阵列方法单元转换，再进入处理元件运算阵列；

图卷积神经网络模式下，图数据直接进入处理元件运算阵列；

两种神经网络模式下，权重静态存储控制单元内的权重数据都直接进入处理元件运算阵列；

步骤4、处理元件运算阵列进行数据的乘加并行运算；

卷积神经网络模式下，处理元件运算阵列进行图像数据以及权重数据的乘加并行运算；

图卷积神经网络模式下，处理元件运算阵列进行图数据以及权重数据的乘加并行运算；

步骤5、对于步骤4的运算结果：

图卷积神经网络模式下，运算结束的图数据进入邻接矩阵运算单元进行相加运算，再进入激活函数与池化运算单元进行激活函数和池化运算；

卷积神经网络模式下，运算结束的图像数据直接进入激活函数与池化运算单元进行激活函数和池化运算；

步骤6、激活函数和池化运算结束后，输出图像或图数据，并将其写回数据静态存储控制单元；

步骤7、上位机通过总线再次进行配置寄存器的配置数据写入，改写寄存器内的模式选择寄存器的域段值，实现神经网络模式的更改。