[发明专利]使用减小的位宽向量的块浮点计算

权利要求书

1.一种用于神经网络中的块浮点计算的系统，所述系统包括：

至少一个处理器；以及

至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序被配置为：利用所述至少一个处理器，使所述至少一个处理器：

接收包括尾数部分的块浮点数；

通过将所述块浮点数分解为多个数来减小所述块浮点数的位宽，所述多个数中的每个数具有其位宽小于所述块浮点数的所述尾数部分的位宽的尾数部分；

分离地对所述多个数中的每个数执行一个或多个点积运算，以获得单独的结果；

对所述单独的结果求和，以生成最终的点积值；以及

使用所述最终的点积值来实现所述神经网络。

2.根据权利要求1所述的系统，其中所述至少一个存储器和所述计算机程序代码还被配置为：利用所述至少一个处理器，使所述至少一个处理器通过将所述块浮点数拆分为高位位置尾数部分和低位位置尾数部分来减小所述块浮点数的所述位宽。

3.根据权利要求2所述的系统，其中所述高位位置尾数部分和所述低位位置尾数部分分别表示高阶尾数位和低阶尾数位，并且其中所述至少一个存储器和所述计算机程序代码还被配置为：利用所述至少一个处理器，使所述至少一个处理器在对所述单独的结果求和之前将所述高位位置尾数部分和所述低位位置尾数部分缩放。

4.根据权利要求3所述的系统，其中所述至少一个存储器和所述计算机程序代码还被配置为：利用所述至少一个处理器，使所述至少一个处理器基于所述多个数的所述尾数部分的所述位宽的大小和所接收到的所述块浮点数的所述尾数部分的所述位宽的大小，使用分数值来将所述高位位置尾数部分和所述低位位置尾数部分缩放。

5.根据权利要求1至4中任一项所述的系统，其中减小所述位宽在硬件和软件中的一个中被执行，并且执行所述一个或多个点积运算仅在硬件中被执行。

6.根据权利要求1至5中任一项所述的系统，其中执行一个或多个点积运算包括：执行矩阵-向量相乘运算和矩阵-矩阵相乘运算中的一个。

7.根据权利要求1至6中任一项所述的系统，其中所述块浮点数包括单精度浮点数。

8.一种用于神经网络中的块浮点计算的计算机化的方法，所述计算机化的方法包括：

接收包括尾数的块浮点向量；

将所述块浮点向量中的每个块浮点向量分解为具有减小的位宽尾数的多个块浮点向量；

对具有减小的位宽尾数的所述多个块浮点向量执行点积运算；以及

使用执行所述点积运算的结果来实现所述神经网络。

9.根据权利要求8所述的计算机化的方法，其中分解所述块浮点向量中的每个块浮点向量包括：通过将所述块浮点向量的所述尾数拆分为高位位置尾数部分和低位位置尾数部分来减小所述块浮点向量的所述尾数的所述位宽。

10.根据权利要求9所述的计算机化的方法，其中所述高位尾数部分和所述低位尾数部分分别表示高阶尾数位和低阶尾数位，并且所述方法还包括：在执行所述点积运算之前将所述高位尾数部分和所述低位尾数部分缩放。

11.根据权利要求10所述的计算机化的方法，还包括：基于所述多个块浮点向量的所述尾数部分的所述位宽的大小和所接收到的所述块浮点向量的所述尾数部分的所述位宽的大小，使用分数值来将所述高位尾数部分和所述低位尾数部分缩放。

12.根据权利要求8至11中任一项所述的计算机化的方法，其中分解所述块浮点向量中的每个块浮点向量在硬件和软件中的一个中被执行，并且执行点积运算仅在硬件中被执行。

13.根据权利要求8至12中任一项所述的计算机化的方法，其中执行所述点积运算包括：执行矩阵-向量相乘运算和矩阵-矩阵相乘运算中的一个。