[发明专利]神经网络处理单元及系统

权利要求书

1.一种神经网络处理单元，包括：

运算电路，用于以第一数值表示和第二数值表示中的其中一种方式执行神经网络的给定层的张量运算；以及，

转换电路，耦接该运算电路的输入端和输出端中的至少一者，以在该第一数值表示和该第二数值表示之间进行转换；

其中，该第一数值表示为定点数表示和浮点数表示中的其中一者，该第二数值表示为该定点数表示和该浮点数表示中的另一者。

2.如权利要求1所述的神经网络处理单元，其特征在于，根据该神经网络的该给定层的操作参数，该转换电路被配置为耦接到该运算电路的该输入端和该输出端中的一者或两者。

3.如权利要求1所述的神经网络处理单元，其特征在于，根据该神经网络的该给定层的操作参数，该转换电路被配置为：针对输入转换和输出转换中的一者或两者是被启用的或被旁路的。

4.如权利要求1所述的神经网络处理单元，其特征在于，该神经网络处理单元用于对该给定层的第一输入运算对象和第二输入运算对象执行层内混合精度计算，该第一输入运算对象和该第二输入运算对象具有不同的数值表示。

5.如权利要求1所述的神经网络处理单元，其特征在于，该神经网络处理单元用于执行层间混合精度计算，在该层间混合精度计算中，该神经网络的第一层中的计算是以该第一数值表示的方式进行的，而该神经网络的第二层中的计算是以该第二数值表示的方式进行的。

6.如权利要求1所述的神经网络处理单元，其特征在于，通过一次对一个层进行操作，该神经网络处理单元在该神经网络的多个层之间是被分时共享的。

7.如权利要求1所述的神经网络处理单元，其特征在于，该神经网络处理单元还包括：

缓冲存储器，用于给该转换电路缓冲未被转换的输入，以在该神经网络的该给定层的操作期间确定用于在该第一数值表示和该第二数值表示之间进行转换的比例因子。

8.如权利要求1所述的神经网络处理单元，其特征在于，该神经网络处理单元还包括：

缓冲器，耦接在该转换电路与该运算电路之间。

9.如权利要求1所述的神经网络处理单元，其特征在于，该运算电路包括定点电路和浮点电路，该定点电路以定点方式计算该神经网络的一层，以及，该浮点电路以浮点方式计算该神经网络的另一层。

10.如权利要求1所述的神经网络处理单元，其特征在于，该神经网络处理单元耦接到一个或多个处理器，该一个或多个处理器用于以该第一数值表示的方式执行该神经网络的一个或多个层的操作。

11.如权利要求1所述的神经网络处理单元，其特征在于，该神经网络处理单元包括：

多个该运算电路，每个运算电路包括一个或多个定点电路和/或浮点电路，其中，不同的运算电路用于计算该神经网络的不同层；以及，

一个或多个该转换电路，耦接该运算电路。

12.如权利要求1所述的神经网络处理单元，其特征在于，该运算电路进一步包括以下一项或多项：

加法器、减法器、乘法器、函数评估器和乘法累加MAC电路。