[发明专利]机器学习加速器的功率减小

权利要求书

1.一种用于执行神经网络操作的方法，所述方法包括：

识别第一矩阵图块和第二矩阵图块；

获取所述第一矩阵图块的第一范围信息和所述第二矩阵图块的第二范围信息；

基于所述第一范围信息和所述第二范围信息选择矩阵乘法路径；以及

使用所选择的矩阵乘法路径对所述第一矩阵图块和所述第二矩阵图块执行矩阵乘法，以生成图块矩阵乘法乘积。

2.根据权利要求1所述的方法，其中：

所述第一图块是神经网络的层的输入的一部分，并且所述第二图块是所述神经网络的所述层的权重矩阵的一部分。

3.根据权利要求2所述的方法，所述方法还包括：

通过分析所述层的输入来自动生成所述第一范围信息。

4.根据权利要求1所述的方法，其中选择所述矩阵乘法路径包括从一组两个或更多个矩阵乘法路径中选择所述矩阵乘法路径，其中每个矩阵乘法路径被配置为针对一组不同的输入范围执行矩阵乘法运算。

5.根据权利要求2所述的方法，其中所述层包括通用神经元层。

6.根据权利要求5所述的方法，其中所述第一矩阵图块和所述第二矩阵图块的所述矩阵乘法包括分批通用神经元层操作的一部分。

7.根据权利要求2所述的方法，其中所述层包括卷积层。

8.根据权利要求7所述的方法，其中针对包括多个滤波器切口的一组范围元数据块存储范围信息。

9.根据权利要求8所述的方法，其中获取所述第一范围信息包括检索由其生成所述第一图块的范围元数据块的范围。

10.一种用于执行神经网络操作的系统，所述系统包括：

一组矩阵乘法路径；以及

图块矩阵乘法器，所述图块矩阵乘法器被配置为：

识别第一矩阵图块和第二矩阵图块；

获取所述第一矩阵图块的第一范围信息和所述第二矩阵图块的第二范围信息；

基于所述第一范围信息和所述第二范围信息选择所述一组乘法路径中的矩阵乘法路径；以及

使用所选择的矩阵乘法路径对所述第一矩阵图块和所述第二矩阵图块执行矩阵乘法，以生成图块矩阵乘法乘积。

11.根据权利要求10所述的系统，其中：

所述第一图块是神经网络的层的输入的一部分，并且所述第二图块是所述神经网络的所述层的权重矩阵的一部分。

12.根据权利要求11所述的系统，所述系统还包括：

神经网络处理块，所述神经网络处理块被配置为通过分析所述层的输入来自动生成所述第一范围信息。

13.根据权利要求11所述的系统，其中每个矩阵乘法路径被配置为针对一组不同的输入范围执行矩阵乘法运算。

14.根据权利要求11所述的系统，其中所述层包括通用神经元层。

15.根据权利要求14所述的系统，其中所述第一矩阵图块和所述第二矩阵图块的所述矩阵乘法包括分批通用神经元层操作的一部分。

16.根据权利要求11所述的系统，其中所述层包括卷积层。

17.根据权利要求16所述的系统，其中针对包括多个滤波器切口的一组范围元数据块存储范围信息。

18.根据权利要求17所述的系统，其中获取所述第一范围信息包括检索由其生成所述第一图块的范围元数据块的范围。