[发明专利]一种自适应卷积层硬件加速器设计方法

说明书

本发明公开了一种自适应卷积层硬件加速器设计方法，该方法包括设计卷积层加速器方案池和自适应选取最优方案并生成硬件加速器。该方法首先对卷积层结构的特点与并行性进行分析，然后通过对硬件资源消耗与运行速度进行评估，设计了四种不同的加速器方案，将所有加速器方案存储在存储区中，并将该存储区称为加速器方案池，最后从输入源获取卷积层结构和参数，根据不同的卷积层结构选择相应的最优加速器方案，并生成最终硬件加速器。本发明通过设计卷积层加速器方案池和自适应选取最优方案并生成硬件加速器，不仅使硬件设计有更强的灵活性，还可以减少资源消耗并提高卷积层并行运算速度。

技术领域

本发明涉及卷积神经网络硬件加速器设计，属于集成电路硬件加速技术领域，具体是一种根据不同的卷积层结构自适应选择最优硬件加速方案并生成硬件加速器的方法。

背景技术

近年来，卷积神经网络被广泛应用于图像分类、目标检测和语言识别等领域。但是，卷积神经网络在达到了非常高的精度的同时，也需要更多的计算资源与内存资源，也导致许多基于卷积神经网络的应用都必须依赖于大型服务器。在资源受限的嵌入式平台，应用卷积神经网络等深度学习技术已经大势所趋。卷积神经网络中通常包含着大量的可以并行计算的卷积层，所以对卷积层进行硬件加速器设计是未来必然的发展方向。

关于卷积层硬件加速设计，目前研究的主要方向是不考虑卷积层结构，采用相同的硬件电路架构对卷积层进行加速，该方法没有针对不同的结构进行优化，从而造成消耗较多硬件资源的同时也降低了并行计算速度；目前的硬件设计主要是提供硬件接口，对于卷积层这种参数较多、结构复杂的电路灵活性非常差。鉴于目前技术在卷积层硬件加速的局限性，可以针对不同的卷积层结构设计相应的加速器方案，将所有的加速器方案存储区称为加速器方案池，从输入源中获取卷积层结构，然后从加速器方案池中选择最优方案，最后生成硬件加速器。经对现有技术文献的检索发现，尚未有报道过有针对不同卷积层结构设计不同的加速器方案以及使用自适应选择最优方案。

发明内容

本发明克服现有卷积层硬件加速技术中的不足，提出了一种自适应卷积层硬件加速器设计方法。

本发明通过设计四种不同的加速器方案，自适应选取最优方案并生成硬件加速器，不仅提高硬件设计的灵活性，还减少资源消耗并提高运算速度。

本发明通过如下技术方案实现，一种自适应卷积层硬件加速器设计方法，该设计包括如下步骤：

(1)分析卷积层结构的特点，根据输入通道数与卷积核个数的不同将卷积层结构分为四种，针对四种不同的卷积层结构，设计了四种不同的硬件加速器方案，将所有加速器方案存放在存储区中，并称为加速器方案池。

(2)从输入源中获取卷积层结构与参数，根据卷积层结构从加速器方案池中选取最优方案，并由加速器方案构建相应的卷积层加速器，结合网络参数，并生成最终的硬件加速器。

进一步的，上述步骤(1)中，通过用户指定输入通道个数阈值N_i和输出通道个数阈值N_o，可以将卷积层结构分为以下四种：输入通道个数小于N_i，输出通道个数小于N_o；输入通道个数小于N_i，输出通道个数大于N_o；输入通道数个大于N_i，输出通道个数小于N_o；输入通道个数大于N_i，输出通道个数大于N_o。

所述硬件加速方案为：

并行加速方案一，对输出通道进行并行运算，分别对输入通道和卷积窗口进行流水操作。

并行加速方案二，对输出通道与输入通道进行并行运算，对卷积窗口进行流水线操作。

并行加速方案三，对输入通道进行并行运算，分别对输出通道和卷积窗口进行流水线

操作。