[发明专利]硬件中转置神经网络矩阵

说明书

本公开涉及在硬件中转置神经网络矩阵的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括以下动作：在具有矩阵计算单元的硬件电路上接收对神经网络执行计算的请求，请求指定要在第一神经网络矩阵上执行的转置操作；以及生成当由硬件电路执行时硬件电路通过执行第一操作转置第一神经网络矩阵的指令，其中第一操作包括重复执行以下第二操作：对于将第一神经网络矩阵划分为一个或多个当前子矩阵的第一神经网络矩阵的当前细分，通过交换每个当前子矩阵的右上象限和左下象限来更新第一神经网络矩阵；以及将每个当前子矩阵细分为相应的新子矩阵来更新当前的细分。

技术领域

本说明书涉及在硬件中转置神经网络矩阵。

背景技术

神经网络是采用一个或多个层来针对接收到的输入生成输出(例 如，分类)的机器学习模型。一些神经网络除了包括输出层之外还包 括一个或多个隐藏层。每个隐藏层的输出被用作网络中的另一层(例 如，网络的下一个隐藏层或输出层)的输入。网络的每层按照一组相 应的参数的当前值从接收到的输入生成输出。

发明内容

总体上，本说明书描述一种计算神经网络推理的专用硬件电路。

本说明书中所描述的主题的一个创新方面可用包括以下步骤的动 作的方法加以具体实现：接收要在具有矩阵计算单元的硬件电路上针 对神经网络执行计算的请求，该请求指定要对与神经网络相关联的第 一神经网络矩阵执行的转置运算；以及生成当由硬件电路执行时使硬 件电路通过执行第一操作来转置第一神经网络矩阵的指令，其中，第 一操作包括重复地执行以下第二操作：对于将第一神经网络矩阵划分 成一个或多个当前子矩阵的第一神经网络矩阵的当前细分，通过使用 矩阵计算单元来交换当前细分中的每个当前子矩阵的右上象限和左下 象限来更新第一神经网络矩阵，以及将当前子矩阵中的每个当前子矩 阵细分成相应的多个新的子矩阵以更新当前细分，相应的多个新的子 矩阵中的每一个是当前子矩阵的相应的象限。

这个方面的其它实施例包括记录在一个或多个计算机存储设备上 的对应的计算机系统、装置和计算机程序，分别被配置成执行方法的 动作。一个或多个计算机的系统可被配置成利用安装在系统上的在操 作中可以使系统执行动作的软件、固件、硬件或其任何组合来执行特 定操作或动作。一个或多个计算机程序可被配置成利用包括当由数据 处理装置执行时使装置执行动作的指令来执行特定操作或动作。

这个方面的实施例可以包括以下可选特征中的一个或多个。在一 些实施方式中，第一操作包括确定第一神经网络矩阵不是i×i矩阵，其 中i是用于硬件电路的矢量长度值；作为响应，通过在执行第二操作的 所有迭代之前对第一神经网络矩阵进行零填充来更新第一神经网络矩 阵以生成i×i矩阵；以及在执行第二操作的所有迭代之后，通过去除在更新期间填充的零来将第一神经网络矩阵转换为其在更新之前的状 况。在一些实施方式中，第一操作还包括获得指示第一神经网络矩阵 的一个或多个值是零值的数据；并且更新第一神经网络矩阵包括防止 矩阵计算单元对包括第一神经网络矩阵的为零值的一个或多个值中的 至少一个的一组值执行任何运算。在一些实施方式中，交换当前子矩 阵的右上象限和每个当前子矩阵的左下象限包括：将第一神经网络矩 阵的每行乘以一个或多个部分单位矩阵以生成一个或多个矢量，一个 或多个矢量其每一个包括其中每个相应的当前子矩阵的右上象限和左 下象限的元素被交换的相应行的部分；对于第一神经网络矩阵的每行， 将与其中每个相应的当前子矩阵的右上象限和左下象限的元素被交换 的第一神经网络矩阵的每个相应行的部分相对应的矢量组合；以及通 过组合每个相应行来生成更新的第一神经网络矩阵。在一些实施方式 中，矩阵计算单元执行矩阵乘法运算作为一系列矢量乘法运算。在一 些实施方式中，第二操作还包括生成第一神经网络矩阵的初始当前细分，其中，初始当前细分包含作为第一神经网络矩阵的初始子矩阵。 在一些实施方式中，第一操作还包括将指令发送到硬件电路。