[发明专利]一种矩阵计算器及基于该矩阵计算器的全连接层计算方法

说明书

本发明提出一种矩阵计算器及基于该矩阵计算器的全连接层计算方法，矩阵计算器包括H行W列乘累加单元，乘累加单元包括乘法器和累加器，在每行乘累加单元上设置一加法树和一行累加寄存器，该加法树用于计算该行乘累加单元当前计算结果的和，并将当前和累加到行累加寄存器；矩阵计算器设置有第一控制电路，用于控制每行的加法树和行累加寄存器在结果矩阵仅有一行或一列时工作；矩阵计算器设置有第二控制电路，用于禁用乘累加单元中的累加器。本发明提出的矩阵计算器能够高效实现矩阵乘法，尤其是结果矩阵有一个维度比较小的情况，例如在结果矩阵仅有一行或一列的情况下，本发明可以高效利用硬件乘法器阵列，达到提高计算效率的作用。

技术领域

本发明涉及集成电路技术领域，尤其是一种矩阵计算器及基于该矩阵计算器的全连接层计算方法。

背景技术

矩阵乘法是线性代数中的最基本操作，在图像处理、人工神经网络、深度学习等领域，都得到普遍应用。尤其在深度学习领域，大部分运算都转换为矩阵乘法运算。对于卷积层，将卷积核展开，参与卷积运算的输入层也展开，卷积运算可转换为普通的矩阵运算。

矩阵运算需要大量重复的乘累加计算，需要读入大量数据，并将大量计算结果写出。传统CPU一个周期通常只能进行一次乘法计算，不适合矩阵乘法这种计算密集型算法。针对矩阵运算，人们设计出各种硬件加速电路，常用方法是使用乘累加单元阵列进行计算，图1为一种常见的乘累加阵列排列方式，其中一个MAC代表一个乘累加器件。

图1所示矩阵计算器可进行D＝A*B+C类型的计算，矩阵计算器的每行输入左矩阵A对应行数据，每列输入右矩阵B对应列数据。每个计算周期，每行输入一个新数据，新数据广播到该行的所有乘累加单元；同时，每列输入一个新数据，新数据广播到该列的所有乘累加单元，每个乘累加单元对其行方向和列方向上收到的数据进行乘法计算，并累加到本地乘累加结果寄存器。当左矩阵A的所有行数据全部输入矩阵计算器时，右矩阵B的所有列数据也应全部输入矩阵计算器，即左矩阵A每行的数据个数应等于右矩阵B每列的数据个数。此时，每个乘累加单元存储着结果矩阵的一个结果。

当然，若矩阵A的行数大于矩阵计算器的行数和/或矩阵B的列数大于矩阵计算器的列数，则需对矩阵A和/或B进行分块计算，再分多次将结果计算出来。例如，若矩阵A的行数为M，列数为N，矩阵B的行数为N，列数为K，矩阵计算器的行数为H，列数为W，则完成一次A*B运算至少需要个周期，当M、K比较小，而N比较大时，该矩阵计算器的加速性能不理想。

全连接层是深度学习模型中最常见的层之一，例如基于深度学习的图像识别模型中，最后一层基本都是全连接层，全连接层的输出个数与待识别的物体种类数量相等(若待分类物体包含10类，则全连接层应有10个输出)，通过softmax函数计算后，代表图像为某一类图像的概率。

全连接层同样可以转换为矩阵计算，若深度学习模型的最后一层包含N个元素，倒数第二层包含M个元素，则全连接层的计算相当于计算一个N行M列矩阵与一个M行1列矩阵的乘积，或一个1行M列矩阵与一个M行N列矩阵的乘积。对于这种矩阵计算，图1所示矩阵计算器只能利用阵列中的一列或一行，而全连接层转换为矩阵计算后，必然有一个矩阵只有一行或一列，这就使得图1所示矩阵计算器用于全连接层计算的效率不高，若矩阵计算器包含H行W列乘累加单元，则利用率至多为1/H或1/W。

对于全连接层，结果矩阵只是一个向量，无论结果矩阵是行向量还是列向量，M或K必然有一个为1，即该矩阵计算器实际起到作用的乘法器只有1行或1列，因此，图1所示传统矩阵计算器不适合深度学习模型中全连接层的计算。

发明内容

针对现有矩阵计算器存在的不足之处，本发明提出一种矩阵计算器及基于该矩阵计算器的全连接层计算方法，提高其计算效率。