[发明专利]一种提高神经网络MAC使用率的多层级联结构

说明书

本公开揭示了一种提高神经网络内存使用开销MAC使用率的多层级联结构，其对处理器内用于存储特征图feature map的块存储器block memory分区，将其作为多层神经网络中不同层的数据存储区域，其中，将所述块存储器block memory划分为三个区域，分别存储多层神经网络的特征图feature map，所述三个区域分别为输入层、中间层和输出层，所述中间层为一层或多层。本公开所揭示的多层级联结构能够极大地提高神经网络MAC利用率，以高效访存主存储器。

技术领域

本公开属于人工智能技术领域，特别涉及一种提高神经网络MAC使用率的多层级联结构。

背景技术

衡量神经网络计算速度时，内存使用开销(memory access cost，MAC)是一项重要指标。而神经网络运算(如卷积或池化)需要进行大量对主存储器的访存，访存的数据往往是以向量、张量的形式进行存储的。这就导致在目前主流计算架构(如现有CPU、GPU或NPU或任何架构的处理器)中处理这类运算，主存储器的访存会占用大量时间。然而，在神经网络计算中，层与层之间数据有紧密的联系(上层计算的输出即为下层的输入)。若只计算一层就访存一次主存储器，无疑是低效的。现有计算架构中缺乏针对这类计算灵活高效的数据存取控制能力，因此面临着内存使用效率低下的问题，从而导致严重的性能瓶颈。

发明内容

鉴于此，本公开提供了一种提高神经网络内存使用开销MAC使用率的多层级联结构，其对处理器内用于存储特征图feature map的块存储器block memory分区，将其作为多层神经网络中不同层的数据存储区域，其中，将所述块存储器block memory至少划分为三个区域，用于存储多层神经网络的特征图feature map，所述三个区域分别为输入层、中间层和输出层，所述中间层为一层或多层。

换言之，由于中间层可以是多层，那么本公开实质上是将所述块存储器blockmemory至少划分为三个区域，用于存储多层神经网络中输入层、中间层和输出层的特征图feature map。

优选的，

所述块存储器block memory是片上大容量、大位宽存储器，用于神经网络计算。

优选的，

所述块存储器block memory的最小单位为位宽为64、深度为512的双口SRAM，并将其组合为多存储体bank，用于存储特征图feature map，权重weight和偏置bias。

优选的，

所述块存储器block memory采用现场可编程逻辑门阵列FPGA片上的静态随机存取存储器SRAM。

优选的，

将所述块存储器block memory划分为七个区域，用于存储多层神经网络的特征图feature map。

优选的，

所述七个区域分别是存储输入图像或输入层特征图feature map的ifm_mr分区，存储中间层特征图feature map的layer1_mr分区、layer2_mr分区、layer3_mr分区、layer4_mr分区、layer5_mr分区，以及存储输出层特征图feature map的ofm_mr分区。

优选的，

处理器进行计算时，首先访问主存储器DDR获得输入图像或输入层特征图featuremap，将其存储在ifm_mr分区，作为多层神经网络的输入层交给NPU计算；多层神经网络的输入层计算结束后，NPU会将结果存在layer1_mr分区～layer5_mr 5个分区中，作为中间层输入；而中间层会继续利用layer1_mr分区～layer5_mr 5个分区中的其他区域来存储计算结果，同时也是下一个中间层的输入；直到多层神经网络计算结束，最终计算结果将会被存入ofm_mr分区，之后被存储进主存储器DDR。