[发明专利]一种基于数据流架构的深度可分离卷积融合方法及系统

说明书

本发明提出一种基于数据流架构的深度可分离卷积融合方法和系统，包括：将输入图像数据、卷积参数从主存DRAM搬运到数据缓存SPM；PE阵列通过从数据缓存SPM中读取该输入图像数据、卷积参数，以执行DW卷积，并将得到的DW卷积结果存储在PE内的寄存器中；PE阵列对寄存器中DW卷积结果进行激活计算得到该输入图像数据的初步结果Act_out，将该初步结果Act_out写回数据缓存SPM后，进一步存回主存；PE阵列通过从数据缓存SPM中读取初步结果Act_out与卷积参数，执行PW卷积得到最终结果Output；将最终结果Output写回数据缓存SPM后，进一步存回主存DRAM。本发明减少了数据的存储与访问带来的开销，使得深度可分离式卷积计算在数据流架构上的计算实现加速。

技术领域

本发明涉及数据流架构硬件加速器，以及神经网络应用处理领域。具体涉及到用于神经网络中对可分离卷积计算的加速设计，结合高效的数据流执行模式，具有处理速度快，能效高等优势。

背景技术

卷积神经网络以其强大的特征提取能力和泛化能力得到广泛的关注与应用。深度可分离卷积是将一个普通的卷积运算拆分成depthwise卷积(DW卷积)和pointwise卷积(PW卷积)。此种方式将卷积中的通道耦合与空间耦合解耦，能够在精度损失较小的情况下大大减少计算量和参数量，常被用来替换普通卷积计算。

随着卷积神经网络近年来的蓬勃发展，深度可分离卷积因其参数量的减少和运算量的下降，成为传统卷积神经网络的一种替代。目前使用广泛的MobileNet系列、ShuffleNet系列便以深度可分离卷积代替普通卷积在模型准确率小幅降低的前提下，获得了计算量和参数量的减少。随之，从软硬件两方面对深度可分离卷积的推理进行加速成为研究热点。

现有技术一：

对于深度可分离卷积推理的加速，软件层面可使用深度学习框架和深度学习库来实现，如im2col(ImagetoColumns)+GEMM，转换为FFT加速，或转换为winograd进行加速等。其采用将卷积转化为矩阵乘，或将数据进行映射计算等方式，已取得了不错的加速效果。

使用深度学习库进行卷积加速常面临存储开销极大的问题。且部分加速方式在卷积计算参数不同时有局限性。许多学者从算法层面进行模型压缩，其核心是基于训练好的网络，减小卷积网络模型的规模。这种方式也取得不错的改进效果，但仍有可进步的空间。

现有技术二：

硬件方面对于深度可分离卷积的加速包括两类，一类是专门针对深度可分离卷积进行设计，以FPGA居多，另一类则是运行在对CNN支持和加速的加速器上。硬件加速器从运算结构、存储结构方面针对卷积操作进行优化，都对低精度推理进行了支持。

硬件对于卷积计算的加速与加速器结构密切相关。采用树状结构的加速器，其结构的设计往往与特定的加速算法相关，因此通用性较差；阵列结构加速器具有更强的通用性，但是其体系结构多采用控制流体系结构，对于指令之间的并行性挖掘不够。因此本发明采用数据流架构通用加速器GPDPU，其运算单元采用阵列结构以支持其通用性，而执行方式采用粗粒度数据流结构的执行方式，以数据流来发挥更多指令之间的并行性，以加速计算。

发明内容

本发明对深度可分离卷积进行加速，针对当前多库函数调用导致中间结果冗余传输，设计了一种深度可分离卷积的融合方案，减少数据的存储与访问带来的开销。包括提出了一种基于数据流理论下深度可分离卷积数据融合方案，其基于数据流理论的数据流动控制机制，及卷积计算硬件结构改进方案，使得深度可分离式卷积计算在数据流架构上的计算实现加速。

针对现有技术的不足，本发明提出一种基于数据流架构的深度可分离卷积融合方法，其中包括：

步骤1、将输入图像数据、卷积参数从主存DRAM搬运到数据缓存SPM；