[发明专利]神经网络处理单元及系统

说明书

一种神经网络(NN)处理单元包括运算电路，用于以第一数值表示和第二数值表示中的其中一种方式执行神经网络的给定层的张量运算。神经网络处理单元还包括转换电路，其耦接运算电路的输入端与输出端中的至少一个，以在第一数值表示与第二数值表示之间进行转换。第一数值表示为定点数表示和浮点数表示中的其中一种，第二数值表示为定点数表示和浮点数表示中的另一种。

技术领域

本发明实施例通常涉及一种神经网络处理单元和由该神经网络处理单元执行的深度神经网络运算(operation)。

背景技术

深度神经网络是具有输入层、输出层以及位于输入层和输出层之间的一个或多个隐藏层(hidden layer)的神经网络。每层对一个或多个张量(tensor)执行运算。张量是一个数学对象，它可以是零维(又名标量，scaler)、一维(又名向量，vector)、二维(又名矩阵，matrix)或多维。各层执行的运算是数值计算，包括但不限于：卷积、反卷积、全连接运算、归一化、激活、池化、缩放(resizing)、逐元素算术(element-wise arithmetic)、串联、切片等。一些层将过滤器权值应用到张量，例如，在卷积运算中。

张量在神经网络中逐层移动。通常，由层产生的张量存储在本地存储器中，并由下一层从本地存储器中获取(retrieve)作为输入。张量的存储和获取以及任何适用的过滤器权值可能会使用存储器总线上的大量数据带宽。

神经网络计算是计算密集型和带宽要求高的计算。现代计算器通常在数值计算中使用具有大位宽(例如，32位)的浮点数来实现高精度。然而，高精度是以高功耗和高资料带宽为代价的。在神经网络计算中平衡低功耗和低数据带宽，同时保持可接受的精度的这种需求是一个挑战。

发明内容

有鉴于此，本发明的目的之一在于提供一种神经网络处理单元及系统，以解决上述问题。

第一方面，本发明提供了一种神经网络处理单元，包括运算电路和转换电路，运算电路用于以第一数值表示和第二数值表示中的其中一种方式执行神经网络的给定层的张量运算；以及，转换电路耦接该运算电路的输入端和输出端中的至少一者，以在该第一数值表示和该第二数值表示之间进行转换；其中，该第一数值表示为定点数表示和浮点数表示中的其中一者，该第二数值表示为该定点数表示和该浮点数表示中的另一者。

在一些实施例中，根据该神经网络的该给定层的操作参数，该转换电路被配置为耦接到该运算电路的该输入端和该输出端中的一者或两者。

在一些实施例中，根据该神经网络的该给定层的操作参数，该转换电路被配置为：针对输入转换和输出转换中的一者或两者是被启用的或被旁路的。

在一些实施例中，该神经网络处理单元用于对该给定层的第一输入运算对象和第二输入运算对象执行层内混合精度计算，该第一输入运算对象和该第二输入运算对象具有不同的数值表示。

在一些实施例中，该神经网络处理单元用于执行层间混合精度计算，在该层间混合精度计算中，该神经网络的第一层中的计算是以该第一数值表示的方式进行的，而该神经网络的第二层中的计算是以该第二数值表示的方式进行的。

在一些实施例中，通过一次对一个层进行操作，该神经网络处理单元在该神经网络的多个层之间是被分时共享的。

在一些实施例中，该神经网络处理单元还包括：缓冲存储器，用于给该转换电路缓冲未被转换的输入，以在该神经网络的该给定层的操作期间确定用于在该第一数值表示和该第二数值表示之间进行转换的比例因子。

在一些实施例中，该神经网络处理单元还包括：缓冲器，耦接在该转换电路与该运算电路之间。

在一些实施例中，该运算电路包括定点电路和浮点电路，该定点电路以定点方式计算该神经网络的一层，以及，该浮点电路以浮点方式计算该神经网络的另一层。