[发明专利]机器学习加速器的功率减小

说明书

本发明公开了一种用于执行神经网络操作的技术。该技术包括识别第一矩阵图块和第二矩阵图块，获取该第一矩阵图块的第一范围信息和该第二矩阵图块的第二范围信息，基于该第一范围信息和该第二范围信息选择矩阵乘法路径，以及使用所选择的矩阵乘法路径对该第一矩阵图块和该第二矩阵图块执行矩阵乘法以生成图块矩阵乘法乘积。

相关申请的交叉引用

本申请要求2020年3月26日提交的美国非临时专利申请号16/831,711的权益，该美国非临时专利申请的内容据此以引用方式并入本文。

背景技术

机器学习系统通过经训练的网络处理输入以生成输出。由于处理的数据量和网络的复杂性，这种评估涉及非常大量的计算。

附图说明

可以从以下描述中获得更详细的理解，通过示例结合附图给出，其中：

图1是根据一个示例的神经网络处理系统的框图；

图2是示出神经网络数据的示例性框图；

图3是根据一个示例的图1的神经网络处理块的框图，示出了附加细节；

图4示出了根据一个示例的与通用神经元层有关的矩阵乘法运算；

图5示出了根据一个示例的卷积运算；

图6示出了根据一个示例的分批多通道卷积运算；

图7示出了其中将多通道分批卷积作为矩阵乘法运算来执行的示例性方式；并且

图8是根据一个示例的用于执行矩阵运算的方法的流程图。

具体实施方式

本发明公开了一种用于执行神经网络操作的技术。该技术包括识别第一矩阵图块和第二矩阵图块；获取所述第一矩阵图块的第一范围信息和所述第二矩阵图块的第二范围信息；基于所述第一范围信息和所述第二范围信息选择矩阵乘法路径；以及使用所选择的矩阵乘法路径对所述第一矩阵图块和所述第二矩阵图块执行矩阵乘法，以生成图块矩阵乘法乘积。

图1是根据一个示例的神经网络处理系统100的框图。神经网络处理系统包括神经网络处理块102和神经网络数据104。神经网络处理块102被具体体现为执行本文所述的操作的硬件电路、在处理器上执行以执行本文所述的操作的软件、或者执行本文所述的操作的硬件电路和在处理器上执行的软件的组合。

在操作中，神经网络处理块102接收神经网络输入106，根据神经网络数据104处理神经网络输入106以生成神经网络输出108，并且输出神经网络输出108。

在一些示例中，神经网络处理块102是或包括在计算机系统内，该计算机系统包括一个或多个处理器，这些处理器读取并执行指令以执行本文所述的操作。在一些具体实施中，任何此类处理器(或本文档内描述的任何处理器)包括从一个或多个存储器提取指令的指令提取电路、从一个或多个存储器提取数据的数据提取电路、以及执行指令的指令执行电路。在各种示例中，神经网络处理块102的一个或多个处理器联接到为所述一个或多个处理器输入数据和输出数据的一个或多个输入设备和/或一个或多个输出设备。神经网络数据104包括定义一个或多个神经网络的数据，神经网络处理块102通过所述神经网络处理神经网络输入106以生成神经网络输出108。