[发明专利]二值权重卷积神经网络加速器的硬件架构及其计算流程

权利要求书

1.一种二值权重卷积神经网络加速器，其特征在于，包括：

11.两个用于存储卷积层输入的双端静态随机存储器，即输入神经元缓存器IMEM，其容量分别能够存储该网络每一层输入的所有通道中的2行，共计4行，此行数所针对的卷积核大小为3×3；

12.一个用于保存二值权重卷积神经网络权重的静态随机存储器，即卷积核缓存器FMEM，其容量大小能够将任意一层卷积层的所有二值权重缓存下来，其中每个权重占用1比特；

13.四个卷积处理单元，用于根据计算流程完成卷积处理计算；

14.一个特征映射累加单元；

15.一个卷积累加阵列；

其中，所述卷积处理单元包括：

21、4个针对对应行的数据缓冲单元DBF，其中包括两列寄存器，每列寄存器可保存4个输入数据，数据可在两列寄存器中流动；

22、一个卷积核缓冲单元kernel buffer，由512个移位寄存器组成，每个移位寄存器为9比特，可保存一个3×3的卷积核，因此卷积核缓冲单元可缓存对应于所有输出通道的某一输入通道的卷积核；

23、用于卷积计算中乘累加计算的多入多出滤波器MFIR，其中第一第四输入行有1×32个MFIR，第二第三行有2×32个MFIR，每行的MFIR的输入共用对应行数据缓冲单元DBF中的输入神经元；

24、将卷积处理单元前3行及后三行对应输出神经元累加的快速加法单元FAU；

所述卷积处理单元用于根据以下计算流程完成卷积处理计算：

步骤一，从动态随机存储器中读取待处理的所有输入通道的4行数据，缓存进IMEM中，每个IMEM缓存2行；除此之外，从动态随机存储器中读取卷积层的所有权重保存进FMEM中；

步骤二，将4个输入通道的的4行，每行4个输入神经元分别读取进卷积处理单元的数据缓冲单元DBF里的寄存器中，同时将对应输入通道的二值权重读入卷积处理单元的卷积核缓冲单元中；

步骤三，从卷积核缓冲单元的寄存器中取出对应32个输出通道的卷积核分别送入对应的MFIR中，每个MFIR完成一行的卷积计算，并通过FAU进行累加；每个卷积处理单元的FAU输出再通过特征映射累加单元进行累加后，再在卷积累加阵列中与旧有累加结果进行相加；

步骤四，重复步骤三，直到所有输出通道被处理，共需要n/32次迭代，其中n为总的输出通道数；与此同时，继续从IMEM中读取下一次迭代需要的每行的接下来4个输入神经元进入对应DBF中的未在卷积中使用的一列寄存器；

步骤五，由于步骤四中已经将接下来4个输入神经元读入，因此可以对这些输入神经元进行卷积，重复步骤三、四，直到当前的4个输入通道的4行全部处理完毕；

步骤六，更换接下来4个输入通道，重复步骤二、三、四、五，直到所有输入通道都被处理完毕，此时在卷积累加阵列中的输出神经元就已经计算完全，也即已经得到了所有输出通道的2行输出；

步骤七，重复步骤一到六，直到完成整个卷积层的所有输入行的计算，得到所有输出，并保存回动态随机存储器，等待下一次读取进行下一层卷积层的计算；其中步骤一中的读取权重的过程可以跳过，因为此过程仅需一次。

2.如权利要求1所述的二值权重卷积神经网络加速器，其特征在于，所述卷积处理单元在执行步骤五和步骤六时，还用于从动态随机存储器中预读取接下来的两行数据进入IMEM中，以覆盖当前处理的4行中的前两行已被处理过的输入神经元；

其中，预读取和替换的时序为：一旦当前处理的4行中的前两行某个数据被读入卷积处理单元的数据缓冲单元后，即从片外动态随机存储器中读入对应的数据覆盖片上静态随机存储器IMEM中的该数据。