[发明专利]基于脉动阵列的转置卷积和卷积加速器芯片设计方法

权利要求书

1.一种基于脉动阵列的转置卷积和卷积加速器芯片设计方法，其特征是，通过设计与转置卷积网络模型和卷积网络模型的计算模式和访存模式相对应的芯片加速器阵列，并建立相应的数据流策略将转置卷积和卷积网络模型映射到芯片加速器阵列中，提高芯片加速性能；包括以下步骤：

1)设计芯片加速器处理单元，芯片处理单元包括：乘法器、加法器和加法器树；

所述乘法器和加法器用于输入图像元素和权重元素的乘累加操作，和中间结果的累加操作；加法器树用于在卷积操作中进行输入通道维度的累加计算；

2)设计芯片加速器互连网络模块；芯片加速器互连网络包括Mesh网络和输出重用通道；Mesh网络和输出重用通道均与水平和竖直方向相邻的处理单元相连接；Mesh网络用于传输权重和输入图像；输出重用通道用于传输处理单元生成的中间结果；

3)在芯片加速器阵列周围设计可重用缓存，作为芯片加速器片上存储模块，用于在运行转置卷积和卷积时，分别存储输入图像元素和权重元素，并存储生成的输出结果元素；

4)设计用于加速转置卷积的数据流与映射方法，采用“中间结果固定”的数据流方法，即将转置卷积的权重宽和权重长两个维度展开并映射到芯片加速器阵列的行上，将输入图像宽维度映射到芯片加速器阵列的列上，将输出通道维度映射到处理单元上；

当加速卷积操作时，采用“权重固定”的数据流方法，即将卷积的权重宽和权重长两个维度映射并固定在加速器阵列行上，将输出通道维度映射到加速器阵列的列上，将输入通道维度映射到处理单元上；或者采用“输出固定”的数据流方法，即将卷积的输出通道维度映射到加速器阵列的行上，将输入图像宽维度映射到加速器阵列的列上，将输入通道维度映射到处理单元上；

用于将转置卷积/卷积映射到加速器阵列的数据流映射方法具体包括：

4A)当加速器阵列运行转置卷积层时，展开加速器芯片的权重核高维度与权重核宽维度，并映射到加速器阵列的行上；将输入图像宽度维度映射到加速器阵列的列上；将输出通道维度映射到加速器阵列中的处理单元上；将权重数据和输入图像数据分别沿着水平方向和竖直方向，以脉动形式流入加速器阵列；

4B)当加速器阵列以输出固定方式运行卷积层时，将权重核高维度与权重核宽维度展开并映射到加速器阵列的行上；将输出通道维度映射到加速器阵列的列上；将输入通道维度映射到加速器阵列中的处理单元上；将输入图像数据沿着水平方向，以脉动形式流入加速器阵列；

4C)当加速器阵列以权重固定方式运行卷积层时，将输出通道维度维度展开并映射到加速器阵列的行上；将输入图像维度映射到加速器阵列的列上；将输入通道维度映射到加速器阵列中的处理单元上；权重数据和输入图像数据分别沿着水平方向和竖直方向，以脉动形式流入加速器阵列；

通过上述步骤，设计实现基于脉动阵列的转置卷积和卷积加速器芯片。

2.如权利要求1所述基于脉动阵列的转置卷积和卷积加速器芯片设计方法，其特征是，加速器芯片的处理单元具体包括如下模块：

2A)乘累加模块：用于对转置卷积/卷积层中的权重和输入图像数据进行乘累加操作；可包括支持并行计算的多个乘累加模块；

2B)乘累加寄存器：用于暂存乘累加模块的计算结果；处理单元中可包括支持并行计算的多个乘累加寄存器；

2C)加法树：

当把卷积层的输入通道维度映射在处理单元时，将多份乘累加模块的结果在加法树上进行归约相加；

2D)权重缓存：当加速器执行卷积运算时，将权重数据预存在权重缓存中；当处理单元接收到输入图像数据时，可从权重缓存中直接读取权重数据进行乘累加操作；

2E)加法器：用于在计算转置卷积/卷积层时，对计算得到的中间结果进行相加操作，从而生成最终输出结果；

2F)水平寄存器：用于在计算转置卷积时，暂存从相邻处理单元传输来的有水平重叠关系的中间结果；

2G)竖直寄存器：用于在计算转置卷积时，暂存从相邻处理单元传输来的有垂直重叠关系的中间结果；

2H)结果寄存器：用于在计算转置卷积/卷积时，存储经过加法器计算的中间结果；和/或，在计算转置卷积时，寄存器可用于路由节点，将数据传输至水平或竖直方向上的相邻计算单元。