[发明专利]一种卷积神经网络硬件加速方法

权利要求书

1.一种卷积神经网络硬件加速方法，其特征在于步骤包括：

1)预先将卷积运算的输入特征图排列组成矩阵A，将卷积运算的输出特征图对应的卷积核排列组成矩阵B，将卷积神经网络卷积层的卷积运算转换为m行K列的矩阵A、K行n列的矩阵B的矩阵乘运算；

2)将矩阵乘运算的矩阵结果C分为m行n列个矩阵子块；

3)启动和主处理器相连的矩阵乘法器来对所有矩阵子块进行计算；在对矩阵子块进行计算时，所述矩阵乘法器以数据驱动的方式产生矩阵坐标(Bx,By)形式的数据请求，将矩阵坐标(Bx,By)映射为操作数在输入特征图中的真实主存地址read_addr，从主存中读回操作数；

4)所述矩阵乘法器根据读回的操作数执行每一个矩阵子块的并行计算，并将计算结果写回主存；

所述步骤1)中将卷积运算的输入特征图排列组成矩阵A具体是指将卷积运算的每一个输入特征图的所有卷积窗口进行横向拼接，所述横向拼接具体是指先将每一个卷积窗口组织成一个列向量，再将这些列向量拼接成矩阵A的一个行分块,然后将各个特征图的行分块进行纵向拼接成为A矩阵；将卷积运算的输出特征图对应的卷积核排列组成矩阵B具体是指将卷积运算的每一个输出特征图对应的卷积核作为矩阵B的一行。

2.根据权利要求1所述的卷积神经网络硬件加速方法，其特征在于：所述步骤2)具体是指根据式(1)将矩阵乘运算的矩阵结果C分为m行n列个矩阵子块；

式(1)中，C表示矩阵乘运算的矩阵结果，A表示m行K列的矩阵A，A_i表示矩阵A中的第i行，B表示K行n列的矩阵B，B_i表示矩阵B中的第i行，C_i,j表示矩阵乘运算的矩阵结果C的第i行j列个矩阵子块。

3.根据权利要求2所述的卷积神经网络硬件加速方法，其特征在于，所述步骤3)中将矩阵坐标(Bx,By)映射为操作数在输入特征图中的真实主存地址read_addr的步骤包括：

3.1)接收数据请求(Bx,By)以及参数卷积核尺寸Ksize、卷积窗口数目win_num、卷积窗口偏移stride、特征图大小image_size以及第一个输入特征图的首地址img_addr；将数据请求的行坐标Bx对卷积核尺寸Ksize进行除法运算得到余数操作数在卷积窗口中的列偏移ofs_cwin_y和商temp；同时，将数据请求的列坐标By除以卷积窗口数目win_num得到商卷积窗口在特征图中的行偏移cwin_x和余数卷积窗口在特征图中的列偏移cwin_y；

3.2)将商temp除以卷积核尺寸Ksize得到商操作数在卷积窗口中所属的特征图编号im_num和余数操作数在卷积窗口中的行偏移ofs_cwin_x；同时，将卷积窗口在特征图中的列偏移cwin_y乘以操作数在卷积窗口中的偏移stride、再加上操作数在卷积窗口中的偏偏移ofs_cwin_y得到操作数在特征图像中的列偏移img_y；

3.3)将操作数在卷积窗口中所属的特征图编号im_num乘以特征图大小image_size的平方得到所属特征图像的偏移ofs_im；同时，将卷积窗口在特征图中的行偏移cwin_x乘以操作数在卷积窗口中的偏移stride、再加上操作数在卷积窗口中的行偏移ofs_cwin_x得到操作数在特征图像中的行偏移img_x；

3.4)将操作数在特征图像中的行偏移img_x乘以特征图大小image_size、再加上操作数在特征图像中的列偏移img_y得到操作数在特征图像中的偏移ofs_pix；

3.5)将操作数在特征图像中的偏移ofs_pix加上第一个输入特征图的首地址img_addr、再加上所属特征图像的偏移ofs_im得到操作数在主存中的真实存储地址read_addr。