[发明专利]用于整数深度学习原语的动态精度管理

权利要求书

1.一种用于执行与神经网络相关联的计算的图形处理单元，所述图形处理单元包括：

计算单元，其包括具有动态精度定点逻辑的硬件逻辑单元；

解码单元，其用于对指令进行解码以用于由所述计算单元执行，所述指令使所述计算单元对一组动态定点张量执行矩阵算术运算；以及

动态精度管理器，其用于动态地调节在所述矩阵算术运算期间由所述计算单元执行的计算操作的精度，所述动态精度管理器调节所述计算操作的精度以防止算术溢出。

2.如权利要求1所述的图形处理单元，所述计算单元的所述动态精度定点逻辑包括整数计算单元。

3.如权利要求2所述的图形处理单元，其中，所述整数计算单元包括乘法器、加法器和累加器、移位器、以及寄存器。

4.如权利要求3所述的图形处理单元，其中，所述寄存器用于存储动态定点缩放因子。

5.如权利要求4所述的图形处理单元，所述指令用于使所述计算单元执行针对对所述神经网络的输入数据的卷积运算的算术运算。

6.如权利要求5所述的图形处理单元，其中，所述矩阵算术运算包括加法运算或乘法运算。

7.如权利要求6所述的图形处理单元，其中，所述矩阵算术运算包括乘法运算和累加运算。

8.如权利要求7所述的图形处理单元，其中，所述动态精度管理器用于动态地调节所述计算操作的精度以防止在所述累加器处的算术溢出。

9.一种方法，包括：

接收一组动态定点张量；

使用在所述一组动态定点张量内的绝对最大值和所述一组动态定点张量的动态范围来计算右移位值；

对在所述一组动态定点张量内的数据值进行右移位；

基于应用于所述一组动态定点张量内的所述数据值的右移位的量来使与所述一组动态定点张量相关联的共享指数递增；以及

对所述一组动态定点张量执行计算操作。

10.如权利要求9所述的方法，其中，对所述一组动态定点张量执行所述计算操作包括：

经由对所述一组动态定点张量的所述计算操作来生成输出张量；

确定所述输出张量的所述绝对最大值的前导零计数是否高于阈值；以及

响应于确定所述前导零计数是否高于所述阈值而调节与所述输出张量相关联的精度。

11.如权利要求10所述的方法，其中，调节与所述输出张量相关联的精度包括调节针对所述输出张量的右移位计数器和共享指数。

12.如权利要求10所述的方法，其中，调节与所述输出张量相关联的精度包括响应于确定所述前导零计数高于所述阈值而使右移位计数器增加并且使共享指数递增。

13.如权利要求10所述的方法，其中，调节与所述输出张量相关联的精度包括响应于确定所述前导零计数低于所述阈值而使右移位计数器减少并且使共享指数递减。

14.如权利要求10所述的方法，另外包括：

使用所述输出张量来执行额外的计算操作；以及

基于所述额外的计算操作来调节与所述输出张量相关联的精度。

15.一种数据处理系统，包括：

非暂时性机器可读介质，其存储指令；以及

一个或多个处理器，其包括至少一个图形处理器，所述至少一个图形处理器包括：

计算单元，其包括具有动态精度定点逻辑的硬件逻辑单元，所述计算单元对一组动态定点张量执行矩阵算术运算；以及

动态精度管理器，其动态地调节在所述矩阵算术运算期间由所述计算单元对所述一组动态定点张量执行的计算操作的精度，所述动态精度管理器在所述计算操作期间防止算术溢出。