[发明专利]神经网络处理单元NPU、神经网络的处理方法及其装置

说明书

本公开提供了一种神经网络处理单元NPU、神经网络的处理方法及其装置，涉及人工智能技术领域中的深度学习、语音技术等领域。该方案为：通过量化单元获取浮点型的输入数据，并将浮点型的输入数据转换成定点型的输入数据，对定点型的输入数据提供至运算单元，以及获取神经网络的网络参数并提供至运算单元，并通过运算单元基于网络参数对量化后的输入数据进行矩阵向量操作和/或卷积操作，以得到量化后的输入向量的运算结果，从而通过同时支持浮点型和定点型表示方式并进行适应性的结合方式，在确保精度要求的同时，降低了功耗，提升了NPU的算力。

技术领域

本公开的实施例总体上涉及数据处理技术领域，并且更具体地涉及深度学习、语音技术等AI(Artificial Intelligence，人工智能)领域。

背景技术

相关技术中，基于神经网络的数据处理往往采用向量乘矩阵的方法，此种情况下，基于此进行开发的NPU，通过添加更多的完全以定点数的模式进行计算的ALU(Arithmeticand Logic Unit，算术逻辑单元)单元，以实现矩阵运算性能的大幅提升，以及减少功耗和面积的开销。其中，NPU中的ALU单元全部采用自定义浮点精度。这样一来，仍然存在资源消耗过大、系统调度损失过大的技术问题。因此，如何在提升NPU算力的同时，节省芯片成本，降低资源消耗和系统调度损失，已成为了重要的研究方向之一。

发明内容

本公开提供了一种神经网络处理单元NPU、神经网络的处理方法及其装置。

根据第一方面，提供了一种神经网络处理单元NPU，包括：

量化单元，用于获取浮点型的输入数据，并将所述浮点型的输入数据转换成定点型的输入数据，对所述定点型的输入数据进行量化得到量化后的输入数据，将所述量化后的输入数据提供至运算单元，以及获取神经网络的网络参数并提供至所述运算单元；

所述运算单元，用于基于所述网络参数对所述量化后的输入数据进行矩阵向量操作和/或卷积操作，以得到所述量化后的输入向量的运算结果。

根据第二方面，提供了一种处理装置，包括：通过总线连接的如上述一方面提出的神经网络处理单元NPU、双倍速率同步动态随机存储器DDR和中央处理器CPU；

其中，所述CPU，用于在内部的存储器中存储待处理的输入数据；以及存储所述NPU对所述输入数据的运算结果；

所述DDR，用于存储神经网络的网络参数。

根据第三方面，提供了一种神经网络的处理方法，应用于神经网络处理单元NPU，所述NPU包括量化单元和运算单元，所述处理方法包括：

所述量化单元获取浮点型的输入数据，并将所述浮点型的输入数据转换成定点型的输入数据，对所述定点型的输入数据提供至运算单元，以及获取神经网络的网络参数并提供至所述运算单元；

所述运算单元基于所述网络参数对所述量化后的输入数据进行矩阵向量操作和/或卷积操作，以得到所述量化后的输入向量的运算结果。

根据第四方面，提供了一种电子设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如本公开上述提出的基于神经网络的数据处理方法。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开上述提出的基于神经网络的数据处理方法。

根据第六方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如本公开上述提出的基于神经网络的数据处理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明