[发明专利]一种用于执行矩阵乘运算的装置和方法

说明书

本公开公开了一种用于执行矩阵乘运算的装置，其特征在于，包括：存储单元，用于存储矩阵运算指令相关的矩阵数据；寄存器单元，用于存储矩阵运算指令相关的标量数据；控制单元，用于对矩阵运算指令进行译码，并控制矩阵运算指令的运算过程；矩阵运算单元，用于根据译码后的矩阵运算指令，对输入矩阵进行矩阵乘运算操作；其中，所述矩阵运算单元为定制的硬件电路。

技术领域

本公开涉及计算机领域，尤其涉及一种用于执行矩阵乘运算的装置和方法。

背景技术

当前计算机领域，伴随着大数据、机器学习等新兴技术的成熟，越来越多的任务中包含了各种各样的矩阵乘运算，尤其是大矩阵的乘运算，这些往往成为算法速度和效果提高的瓶颈。以目前火热的深度学习为例，其中就包含着大量的矩阵乘运算。在深度学习的人工神经网络全连接层中，输出神经元的运算表达式为y＝f(wx+b)，其中w是权值矩阵，x是输入向量，b是偏置向量，计算输出矩阵y的过程为矩阵w与向量x相乘，加上向量b，然后对得到的向量进行激活函数运算(即对矩阵中的每个元素进行激活函数运算)。在这个过程中，矩阵乘向量运算的复杂度远高于之后的加偏置和做激活的操作，高效的实现前者对于整个运算过程有着最重要的影响。由此可见，高效实现矩阵乘运算是提升许多计算机算法的有效方法。

在现有技术中，一种进行矩阵运算的已知方案是使用通用处理器，该方法通过通用寄存器堆和通用功能部件来执行通用指令，从而执行矩阵乘运算。然而，该方法的缺点之一是单个通用处理器多用于标量计算，在进行矩阵运算时运算性能较低。而使用多个通用处理器并行执行时，处理器的个数较少提升的效果不做够显著；处理器个数较高时它们之间的相互通讯又有可能成为性能瓶颈。

在另一种现有技术中，使用图形处理器(GPU)来进行一系列矩阵乘计算，其中，通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来进行运算。但在上述方案中，GPU片上缓存太小，在进行大规模矩阵运算时需要不断进行片外数据搬运，片外带宽成为了主要性能瓶颈。

在另一种现有技术中，使用专门定制的矩阵运算装置来进行矩阵乘运算，其中，使用定制的寄存器堆和定制的处理单元进行矩阵运算。然而根据这种方法，目前已有的专用矩阵运算装置受限于寄存器堆的设计，不能够灵活地支持不同长度的矩阵运算。

综上所述，现有的不管是片上多核通用处理器、片间互联通用处理器(单核或多核)、还是片间互联图形处理器都无法进行高效的矩阵乘运算，并且这些现有技术在处理矩阵乘运算问题时存在着代码量大，受限于片间通讯，片上缓存不够，支持的矩阵规模不够灵活等问题。

发明内容

基于此，本公开提供了一种执行矩阵乘运算的装置和方法。

根据本公开一方面，提供了一种用于执行矩阵乘运算的装置，包括：控制单元，用于对矩阵运算指令进行译码，并控制矩阵运算指令的运算过程；矩阵运算单元，与控制单元相连接；所述矩阵运算单元用于接收译码后的矩阵运算指令和输入矩阵，并用于根据译码后的矩阵运算指令，对输入矩阵进行矩阵乘运算操作；其中，所述矩阵运算单元为定制的硬件电路。