[发明专利]一种基于乒乓RAM的条带阵列的卷积模块及其运算方法

说明书

本发明公开了一种基于乒乓RAM的条带阵列卷积模块及其运算方法，其中所述卷积模块包括直接内存访问模块DMA、DMA控制器、数据分流模块、乒乓RAM、RAM读取模块、条带列阵模块、块累加模块、寄存器模块；所述由DMA控制器用于控制DMA从内存中读取数据，所述数据包括特征feature、权重weight；数据经过数据分流模块将特征feature和权重weight分离，然后存入乒乓RAM；所述RAM读取模块从乒乓RAM读取特征feature和权重weight给到条带阵列模块进行运算处理，运算结果经过块累加模块输出；所述寄存器模块用于接收来自中央处理器配置的寄存器控制所述的卷积模块运算。本发明能提高乘法器的利用率，同时能兼容不同大小的卷积核。

技术领域

本发明涉及人工智能技术领域，更具体的，涉及一种基于乒乓RAM的条带 阵列的卷积模块及其运算方法。

背景技术

卷积神经网络(CNN)是深度学习的重要算法，在计算机视觉特别是图像识 领域有着非常广泛的应用。目前几乎所有的识别和检测问题都把卷积神经网络作 为首选方法，世界上各个IT巨头也都争相展开了相关研究。

从计算机的角度来看，图像实际上是一个二维矩阵，卷积神经网络所做的工 作就是采用卷积、池化等操作从二维数组中提取特征，并对图像进行识别。理论 上来说，只要是能转换成二维矩阵的数据，都可以利用卷积神经网络来识别和检 测。比如声音文件，可以分割成很短的分段，每段音阶的高低可以转换成数字， 这样整段的声音文件就可以转换为二维矩阵，类似的还有自然语言中的文本数 据，医药实验中的化学数据等等，都可以利用卷积神经网络来实现识别和检测。

卷积是卷积神经网络最核心的概念，也是其名称的由来。卷积用来提取图像 的局部特征，它是一个数学计算方法，如图1、图2所示，图中不带有×1、×0 的网格组成的矩阵是输入图像叫做输入特征feature，带有×1、×0的网格组成的 矩阵是卷积核叫做权重weight，图1、图2中的右子图表示的矩阵是计算得到的 卷积特征叫做输出特征feature。卷积操作实际上用卷积核在图像矩阵上滑动，对 卷积核矩阵与图像矩阵中对应位置做以下计算：对应元素相乘后求和。

输入特征的矩阵以一定的步长在权重的矩阵上滑动，每次卷积计算的结果填 入输出特征的矩阵，最后得到特征矩阵。

传统的卷积方式有脉动阵列，脉动阵列固定一个卷积核大小的乘法阵列，然 后兼容比它更小的卷积核运算，该方法结构简单，但是缺陷也很明显，结构太固 化，改变卷积核大小时，乘法器利用率很低，无法兼容更多的卷积核大小。

发明内容

本发明为了解决传统的卷积模块乘法器利用率低下，无法兼容更多的卷积核 大小的问题，提供了一种基于乒乓RAM的条带阵列卷积模块及其运算方法，其 能提高乘法器的利用率，同时能兼容不同大小的卷积核。

为实现上述本发明目的，采用的技术方案如下：一种基于乒乓RAM的条带 阵列卷积模块，包括直接内存访问模块DMA、DMA控制器、数据分流模块、 乒乓RAM、RAM读取模块、条带列阵模块、块累加模块、寄存器模块；

所述DMA控制器用于控制DMA从存储器中读取数据，所述数据包括特征 feature、权重weight；数据经过数据分流模块将特征feature和权重weight分离， 然后分别存入乒乓RAM；所述RAM读取模块从乒乓RAM读取特征feature和 权重weight给到条带阵列模块进行运算处理，运算结果经过块累加模块输出；

所述寄存器模块用于接收来自中央处理器配置的寄存器控制所述的卷积模 块运算。

优选地，所述条带阵列模块包括Mk个PE运算单元，所述的PE运算单元 包括Tk*Tk/2个乘法器；所述条带阵列模块一共设有Mk*Tk*Tk/2个乘法器。