[发明专利]一种自适应卷积层硬件加速器设计方法

权利要求书

1.一种自适应卷积层硬件加速器设计方法，其特征在于包括如下步骤：

(1)对卷积层结构进行分析，针对不同的卷积层结构设计了四种不同的硬件加速器方案，并将四种不同的硬件加速器方案存储在加速器方案池中；通过用户指定输入通道个数阈值N_i和输出通道个数阈值N_o，将卷积层结构分为以下四种：第一种，输入通道个数小于N_i，输出通道个数小于N_o；第二种，输入通道个数小于N_i，输出通道个数大于N_o；第三种，输入通道数个大于N_i，输出通道个数小于N_o；第四种，输入通道个数大于N_i，输出通道个数大于N_o；

(2)从输入源中获取卷积层结构与卷积层参数，然后根据卷积层结构从加速器方案池中选取最优加速器方案，并由加速器方案构建相应的卷积层加速器；

加速器方案池中包含如下硬件加速器方案：

并行加速方案一，对输出通道进行并行运算，分别对输入通道和卷积窗口进行流水操作；

并行加速方案二，对输出通道与输入通道进行并行运算，对卷积窗口进行流水线操作；

并行加速方案三，对输入通道进行并行运算，分别对输出通道和卷积窗口进行流水线操作；

并行加速方案四，对部分输入通道与输出通道进行并行运算，分别对部分输入通道和卷积窗口进行流水线操作；

将四种硬件加速器方案存储在存储区中，称为加速器方案池；

硬件加速器由最优加速器方案与卷积层参数生成；

所述的并行加速方案四的过程为将输入通道分成若干个等份，对每一份的若干个输入通道的一个卷积窗口与所有卷积核进行卷积运算；然后对若干份输入通道进行流水线操作，从而得到所有输入通道的一个卷积窗口卷积输出；然后再对卷积窗口进行流水线操作，得到所有输入通道的卷积输出；

所述选取最优的加速器方案步骤如下：

1、判断是否属于第一种卷积层结构，如果是，优先采用第二种加速方案，否则，执行2；

2、判断是否属于第二种卷积层结构，如果是，优先采用第一种或者第二种加速方案，否则，执行3；

3、判断是否属于第三种卷积层结构，如果是，优先采用第三种加速方案，否则，执行4；

4、该结构必然属于第四种卷积层结构，优先采用第四种加速方案。

2.根据权利要求1所述的硬件加速器设计方法，其特征在于：步骤(2)具体包括：从输入源中获得输入特征图的高和宽，以及输入特征图的输入通道数，获得卷积核的高和宽，卷积核的个数，以及宽步长与高步长；获得输入特征图，卷积层权重与卷积层偏置的值；由卷积层的参数估算每个加速方案所消耗的硬件资源以及所需要的时钟周期；将这些估算的结果结合用户针对任务所限制的需求来选择出最优的加速器方案，从而生成卷积层加速器。

3.根据权利要求1所述的硬件加速器设计方法，其特征在于：所述从输入源中获取卷积层结构与参数的具体步骤如下：

1)、获取卷积层的权重张量的形状，从而解析出卷积层的卷积核个数，卷积核的大小以及步长；

2)、获取卷积层输入特征图张量的形状，解析出卷积层输入特征图的大小，输入通道数；

3)、将卷积层输入特征图的值，卷积层权重与偏置的值量化并转换为硬件格式数据文件。

4.根据权利要求1所述的硬件加速器设计方法，其特征在于：步骤(2)具体包括：

a、从输入源中获取卷积层结构与参数，包括含有卷积层结构定义的文件和含有卷积层权重与卷积层偏置的数据文件；

b、由卷积层结构参数，即卷积核大小，输入通道大小，输出通道大小，卷积步长大小，选取最优的加速器方案，生成相应的卷积层加速器。

5.根据权利要求1所述的硬件加速器设计方法，其特征在于：卷积层参数包括权重与偏置；卷积层结构中包括输入特征图的输入通道的个数、输入特征图的宽、输入特征图的高、卷积核的个数即输出通道的个数、卷积核的宽、卷积核的高、卷积核宽步长和卷积核高步长。