[发明专利]一种卷积运算电路及其运算方法

说明书

本发明提出一种卷积运算电路及其运算方法，卷积运算电路由PE阵列组成，同时支持矩阵乘法运算和二维卷积运算；当执行矩阵乘法运算时，PE分别接收来自行方向上的左矩阵行输入和来自列方向上的右矩阵列输入，将两者相乘后累加到本地累加寄存器；当执行二维卷积运算时，PE接收来自行方向上的输入特征图输入，将其与内部存储的卷积核权重相乘后与上一行PE输出的部分和进行累加，再向下一行输出累加后的部分和；本发明在PE内部设置多个权重寄存器，把多通道的卷积核权重折叠式地存储在一列PE内部，在PE阵列的底部设置先进先出存储器，用于存储中间计算结果，避免反复在存储器和PE之间传输权重和中间计算结果，提高运算效率。

技术领域

本发明涉及卷积运算技术领域，尤其是一种同时支持矩阵乘法运算和二维卷积运算的卷积运算电路及其运算方法。

背景技术

卷积层是卷积神经网络的基础层之一，卷积运算是深度学习领域最主要的运算类型，可占卷积神经网络90％以上的运算量，而在剩余计算中，全连接层的计算又占了很大一部分。全连接层的计算可以视为矩阵乘法计算，因此，深度学习中的绝大部分计算是卷积运算和矩阵乘法计算。

有一种卷积运算方式是通过im2col运算，将卷积运算转换为矩阵乘法运算，该方式将卷积核展开为矩阵，将输入特征图也转换为矩阵。将卷积核中一个窗口的权重转换为另一个矩阵的一列，所有卷积核的权重组合在一起就形成了新的卷积核矩阵；将输入特征图中的每一个滑动窗口转换为矩阵的一行，所有滑动窗口的数据组合在一起就形成了新的特征图矩阵；卷积核矩阵与特征图矩阵进行矩阵乘法，即得卷积结果。

若通过软件实现im2col运算，由于同一特征图数据会出现在多个滑动窗口中，造成矩阵中存在大量重复元素，额外占用大量内存和带宽；若通过硬件实现im2col运算，则需要额外设计复杂的硬件电路。针对卷积运算，已有专门的硬件电路予以支持，此类硬件电路通常采用脉动阵列方式，将权重固定在运算单元上，将卷积产生的部分和在运算单元间流动并累加，直至完成所有部分和的累加，在最后一个运算单元上输出卷积结果。

然而，截至目前，深度学习领域尚未出现能够同时支持矩阵乘法运算和二维卷积运算的电路结构。

发明内容

针对深度学习领域同时支持矩阵乘法运算和二维卷积运算的电路结构的空白，本发明提出一种同时支持矩阵乘法运算和二维卷积运算的卷积运算电路及其运算方法。

本发明保护一种卷积运算电路，由m行n列运算单元(PE：Processing Element)组成，同时支持矩阵乘法运算和二维卷积运算；

当执行矩阵乘法运算时，所述运算单元分别接收来自行方向上的左矩阵行输入和来自列方向上的右矩阵列输入，将两者相乘后累加到本地累加寄存器；

当执行二维卷积运算时，所述运算单元接收来自行方向上的输入特征图输入，将其与内部存储的卷积核权重相乘后与上一行运算单元输出的部分和进行累加，再向下一行输出累加后的部分和。

进一步的，所述运算单元主要由乘法器、累加器和权重寄存器构成；所述乘法器的行方向输入侧输入行方向上的输入；所述乘法器的列方向输入侧设置择一选择的两路输入，分别为列方向上的输入和来自所述权重寄存器的卷积核权重输入；所述累加器的部分和输入侧设置择一选择的两路输入，分别为来自本地累加寄存器和上一行运算单元输出的部分和。

进一步的，每个运算单元内部设置有多个权重寄存器，权重以滑动窗口大小为单位折叠排列在运算单元上，所述权重寄存器与所述乘法器的列方向输入侧之间设有地址选择控制器，所述地址选择控制器根据地址选择寄存器的值对多个权重寄存器中存储的卷积核权重进行选择，参与卷积运算。

进一步的，每列运算单元的最后一行运算单元连接有FIFO(First In First Out：先进先出)存储器，FIFO存储器输出连接至第一行运算单元。