[发明专利]一种提高神经网络MAC使用率的多层级联结构

权利要求书

1.一种提高神经网络MAC使用率的多层级联结构，其特征在于：所述MAC指内存使用开销，所述多层级联结构对处理器内用于存储特征图feature map的块存储器block memory分区，将其作为多层神经网络中不同层的数据存储区域，其中，将所述块存储器blockmemory划分为三个区域，分别存储多层神经网络的特征图feature map，所述三个区域分别为输入层、中间层和输出层，所述中间层为一层或多层。

2.根据权利要求1所述的多层级联结构，其中，优选的，所述块存储器block memory是片上大容量、大位宽存储器，用于神经网络计算。

3.根据权利要求1所述的多层级联结构，其中，所述块存储器block memory的最小单位为位宽为64、深度为512的双口SRAM，并将其组合为多存储体bank，用于存储特征图featuremap，权重weight和偏置bias。

4.根据权利要求1所述的多层级联结构，其中，所述块存储器block memory采用现场可编程逻辑门阵列FPGA片上的静态随机存取存储器SRAM。

5.根据权利要求1所述的多层级联结构，其中，将所述块存储器block memory划分为七个区域，用于存储多层神经网络的特征图feature map。

6.根据权利要求5所述的多层级联结构，其中，所述七个区域分别是存储输入图像或输入层特征图feature map的ifm_mr分区，存储中间层特征图feature map的layer1_mr分区、layer2_mr分区、layer3_mr分区、layer4_mr分区、layer5_mr分区，以及存储输出层特征图feature map的ofm_mr分区。

7.根据权利要求1所述的多层级联结构，其中，处理器进行计算时，首先访问主存储器DDR获得输入图像或输入层特征图feature map，将其存储在ifm_mr分区，作为多层神经网络的输入层交给NPU计算；多层神经网络的输入层计算结束后，NPU会将结果存在layer1_mr分区～layer5_mr 5个分区中，作为中间层输入；而中间层会继续利用layer1_mr分区～layer5_mr 5个分区中的其他区域来存储计算结果，同时也是下一个中间层的输入；直到多层神经网络计算结束，最终计算结果将会被存入ofm_mr分区，之后被存储进主存储器DDR。

8.根据权利要求1所述的多层级联结构，其中，在处理器内部利用神经网络计算单元NPU处理级联的多层神经网络或包含分支结构的神经网络构建模块。

9.根据权利要求8所述的多层级联结构，其中，所述包含分支结构的神经网络构建模块包括ResNet中的bottleneck unit和ShuffleNet中的ShuffleNet unit。

10.根据权利要求1所述的多层级联结构，其中，所述块存储器block memory为任意大小。