[发明专利]一种流水式卷积计算架构设计方法及残差网络加速系统

权利要求书

1.一种流水式卷积计算架构的设计方法，其特征在于，包括以下步骤：

S1：将流水式卷积计算架构分为片上缓冲区、卷积处理阵列和逐点加法模块；

S2：设置流水式卷积计算架构的主路由三块串行排列的卷积处理阵列组成，在它们之间插入两块流水线缓冲区，用于实现主路的三层卷积的层间流水，所述流水线缓冲区设置在片上缓冲区内；

S3：设置第四卷积处理阵列用于并行处理残差积木块分支的内核大小为1×1的卷积层，通过配置第四卷积处理阵列中的寄存器，改变其工作模式，使其可用于计算残差网络头部卷积层或全连接层，当残差积木块的分支无卷积时，跳过第四卷积处理阵列不执行卷积；

S4：设置逐点加法模块将残差积木块主路的输出特征与分支快捷连接的输出特征执行对应输出特征像素逐元素相加；

所述缓冲区包括输入缓冲区、流水线缓冲区、输出缓冲区和权重缓冲区；其中，输入缓冲区用于缓存从片外存储器中读取的特征数据切片，并为残差积木块主路的第一卷积处理阵列和第四卷积处理阵列所共享以提供特征输入；在用于计算残差积木模块主路卷积的第一卷积处理阵列和第二卷积处理阵列的输出端应用流水线缓冲区。

2.根据权利要求1所述的流水式卷积计算架构的设计方法，其特征在于，流水线缓冲区,用于缓存第一卷积处理阵列的输出特征，即缓存第二卷积处理阵列的输入特征。

3.根据权利要求2所述的流水式卷积计算架构的设计方法，其特征在于，在残差积木块主路的第三卷积处理阵列的输出端设置第一输出缓冲区，在分支快捷连接处的第四卷积处理阵列的输出端设置第二输出缓冲区，用于存储卷积输出特征结果，根据后续的运算过程不同，输出缓冲区中的数据可能会被送到逐点加法模块、池化运算单元或通过直接存储器访问模块写回外部存储器。

4.根据权利要求3所述的流水式卷积计算架构的设计方法，其特征在于，权重缓冲区用于缓存各层卷积对应的权重数据切片，由于使用了流水线技术处理主路的三层卷积，为了使得下一级流水更快开始启动同时最小化流水线缓冲区的大小，卷积计算的循环顺序设计为先将某一输出特征对应的所有输出通道计算完毕，再更换输出特征，按照这一顺序将所有输出特征计算完毕，避免了缓冲区的输入特征切片的重复加载，但是造成了权重缓冲区的重复加载用以更换权重切片，为此设计每个卷积处理阵列都配有两块权重缓冲区：权重缓冲区a、权重缓冲区b，实现乒乓缓冲权重切片，用于重叠卷积计算延迟和加载权重的延迟。

5.根据权利要求4所述的流水式卷积计算架构的设计方法，其特征在于，逐点加法模块用于将残差积木块主路的输出特征与分支快捷连接的输出特征执行对应输出特征像素逐元素相加；

首先从主路的第一输出缓冲区和第二输出缓冲区分别读取对应的输出特征进行加法运算，再执行激活运算，然后将运算结果送回主路第一输出缓冲区，根据后续的运算不同，第一输出缓冲区的数据接下来可能被送到池化运算单元执行池化运算，或通过直接存储器访问模块写回外部存储器。

6.根据权利要求1-4任意一项所述的流水式卷积计算架构的设计方法，其特征在于，第一至第四卷积处理阵列中的寄存器配置模块用于接收和寄存卷积处理阵列的各项参数，包括卷积层的尺寸以及工作模式；根据寄存器配置模块中各寄存器的值，逻辑控制模块将控制权重和特征数据流以指定的模式送入卷积处理阵列的乘累加计算单元、偏置计算单元或激活计算单元进行运算，并将计算结果以指定的数据流模式送出。