[发明专利]基于DMA传输的卷积网络Padding预处理装置及方法

说明书

本发明提出一种基于DMA传输的卷积网络Padding预处理方法和系统，包括：在DMA传输过程中实现数据读取并实现对图片或卷积得到的特征向量进行Padding处理。本发明通过在DMA传输过程中，通过专用的处理逻辑对Padding进行高速的流式处理。避免了采用CPU或其它计算单元采用指令操作的方式，可以显著提高数据Padding的效率，提供神经网络整体执行效率；显著减少数据搬运次数，提高执行效率。

技术领域

本发明涉及人工智能处理器芯片设计技术领域，并特别涉及一种基于DMA传输的卷积网络Padding预处理装置及方法。

背景技术

在卷积网络中，Padding是填充的意思，即做卷积之前进行图像的边界填充。例如，当有一张6×6的图片，经过3×3的卷积核卷积之后(不使用Padding)会得到一张4×4大小的图片。这样有一个缺点就是每卷积一次，图像就会变小，卷积几次图像就会变得非常小，这并不是我们所希望的。第二点是，图像角落和边缘的像素卷积过程中被使用到的次数非常少，而其他地方的像素被多次重叠使用，丢失了边界上许多信息。所以为了解决上面两个问题，在卷积之前使用pad(填充)周边方式。边界填充的具体手段包含常量填充、零填充以及重复填充等。如图6所示，为三种填充方式示意图，其中根据卷积核kernel的形状，会对原始数据的四周进行相应的填充。

当前已有的面向卷积神经网络Padding操作的架构设计，主要采用的方式是先对特征图像(Feature Map)进行预处理，一般采用通用CPU进行Padding预处理操作，即数据在做卷积操作之前，所有图像数据都需要经过CPU进行一次Padding操作，生成新的图像，新的图像在图像边缘位置扩充了相应的Padding的值。

Padding操作属于典型的访存密集型操作，需要将数据读出来，Padding之后再写回内存，之后才能使用，这给本来就饱受存储墙限制的处理器结构，提出了更大的挑战，严重影响卷积神经网络的执行效率。

在卷积神经网络，Padding是数据正式被进行卷积处理之前的预处理操作，计算模式非常简单，但是对数据存储访问量比较大。对于现在的处理器来说，存储访问正是效率最低的部分，所以用更多的时间来做数据预处理操作，既浪费硬件资源又浪费执行时间。

如果能够尽量减少数据预处理对存储器的访问次数，可以提升整体的执行时间。在现代处理器中，DMA(Direct Memory Access，直接存储器访问)是加速数据传输的重要模块，它允许不同速度的硬件装置来沟通，而不需要依赖于CPU的大量中断负载。

当前的处理器在做卷积处理时，需要先进行数据的预处理，执行一次数据读写，然后再将数据读到处理器上进行后续的卷积计算处理。这个数据读取和写回操作就是用的DMA操作。因此，如果在卷积计算时的第二次数据读取的路上，顺便完成对数据的预处理操作(Padding操作)，则可以减少一次数据的读写操作，将会显著提升执行效率。

发明内容

本发明的目的在于提供一种通过DMA传输过程中进行图像Padding的方法和装置，解决了现有技术中对待Padding的数据需要经过处理器进行专门Padding操作带来的频繁读写内存造成执行效率下降的问题。

为了在DMA过程中对图片或卷积得到的特征向量进行Padding，本发明提出了一种基于DMA传输的卷积网络Padding预处理方法，其中包括：

步骤1、神经网络加速器中主控模块发出配置指令至该神经网络加速器中直接存储器访问模块，该直接存储器访问模块通过片上总线从该神经网络加速器中存储器读取待传输数据块；

步骤2、该直接存储器访问模块解析该配置指令，得到指定数据块的填充操作策略，判断当前待传输数据块是否为该指定数据块，若是，则将该待传输数据块存入该直接存储器访问模块的操作寄存器中，并采用该填充操作策略对该指定数据块进行填充，将填充后的数据块发送至神经网络加速器中神经网络计算单元，否则直接将该待传输数据块传输神经网络加速器中神经网络计算单元。