[发明专利]一种Winograd卷积运算加速方法及加速模块

说明书

本发明提供一种Winograd卷积运算加速方法及加速模块，对于非3×3形状的卷积运算，使用基于步长的卷积核拆分方法将输入矩阵拆分或者填充为4×4的输入矩阵，将卷积核矩阵拆分或者填充为3×3的卷积核矩阵；使用卷积核转换矩阵G和输入矩阵转换矩阵Bsupgt;T/supgt;对3×3的卷积核矩阵和4×4的输入矩阵分别进行Winograd变换，得到变换后的卷积核矩阵U和输入矩阵V；对变换后的卷积核矩阵U中的元素usubgt;ξ,v/subgt;按照比特级精度进行权重拆分，通过累加运算和移位运算得到矩阵Z；对矩阵Z进行Winograd变换，获得卷积运算的输出矩阵。本发明不但能合理利用片上资源、降低计算复杂度，且可以兼容大多数尺寸的卷积运算。

技术领域

本发明涉及卷积神经网络计算，具体一种Winograd卷积运算加速方法及及加速模块。

背景技术

卷积神经网络(CNN)在图像分类和语音识别中得到了广泛的应用，随着应用的数据规模越来越大，其网络模型的计算复杂度也在不断地提高，近年来，包括自动驾驶在内的诸多应用对CNN提出了更高的实时性需求。据统计，卷积计算占据了CNN总运算量的99％，因此，加速卷积层的运算是提高卷积神经网络计算速度的关键所在。

高灵活性、低成本、短设计周期使得基于FPGA的CNN加速器设计更适合部署在移动设备中。根据实现的卷积算法的类型，可以将现有的基于FPGA的加速器分为三类：

1)基于FPGA并行性的加速设计：第一类设计直接利用了空间卷积计算的并行性，在每个周期内，在大量的DSP块阵列上执行大量的乘累加操作，此类设计是最直接且最为广泛应用的设计方法。

2)基于快速卷积算法的加速器设计：空间分布域里分布矩阵的卷积运算计算，事实上等价于频次域里2个分布矩阵与之对应元素相乘，因此，第二类设计通过转换算法减少了加速器对乘累加操作的需求，典型的卷积算法包括FFT、FFA和Winograd。其中，FFT需要将卷积层的滤波器映射到和图像一样长宽的频域空间才能做点乘，增大了内存带宽需求，仅有在处理大尺寸的卷积核时才有显著的速率优势。FFA的灵活性较弱，无法支持不同的步数和卷积核大小。Winograd变换更具灵活性，且更适合2×2、3×3等小尺寸卷积核，而小尺寸卷积核是截至当前，CNN设计的主要设计趋势。

3)基于网络模型压缩的加速设计：在计算时，将数值为0或者接近0的权重参数参与的运算去除，只保留对推理结果产生作用的连接，将其称之为稀疏。根据在VGG16模型上进行的实验，经过稀疏后，网络模型的参数量大幅度减少，VGG16模型的计算量缩减了83.6％，个别层的参数量只有原来的4％，同时加速器的分类正确性几乎没有损失。

以上三类加速方法都是用大量的片上DSP资源完成乘法运算，因此，可以说加速器的计算能力主要由片上的LUT与DSP资源决定。由于DSP资源成本较高，各平台所装载的该资源也相对较少。对于8-bit量化的网络模型来说，假设一个尺寸为3×3的卷积核，根据实验，一次卷积运算所需LUT与DSP资源的比例为7.1/1，而片上所存的LUT与DSP资源的比例常为330/1～130/1。因此，传统的设计方法造成了片上资源利用的失衡，当DSP资源耗尽时，片上的其他资源并未得到充分利用。同时卷积计算对DSP的过度使用极大地限制了其余功能模块的正常工作。DSP资源是目前基于FPGA的卷积神经网络加速器的计算速度的决定性因素，现有研究采用了多种方法来改善片上资源利用情况，表1显示了几种最先进的加速器的片上资源利用情况，其中，Suda等人的设计为第一类设计，Ma与Suda等人对卷积展开循环，有效地改善了片上资源利用率；WRA是基于快速卷积算法Winograd的加速器，为第二类设计；ABM-SpConv利用了稀疏卷积神经网络，对权重参数的存储重新进行编码，在硬件计算时有效地抛弃了关于0值的计算，为第三类方法。定义U(U＝LUT利用率/DSP利用率)，该参数可以更直观地表现片上资源利用情况。

表1几个典型加速器的片上资源利用情况