[发明专利]神经网络运算装置及方法

说明书

本公开提供了一种神经网络运算装置及方法。该神经网络运算装置包括：控制单元、存储单元、稀疏选择单元和神经网络运算单元；其中：控制单元，用于产生分别对应各个单元的微指令，并将微指令发送至相应单元；稀疏选择单元，用于根据控制单元下发的对应稀疏选择单元的微指令，依照其中的稀疏数据表示的位置信息，在存储单元存储的神经网络数据中选择与有效权值相对应的神经网络数据参与运算；以及神经网络运算单元，用于根据控制单元下发的对应神经网络运算单元的微指令，对稀疏选择单元选取的神经网络数据执行神经网络运算，得到运算结果。本公开可以提升神经网络运算装置处理不同数据类型的能力，加快神经网络运算速度的同时降低功耗。

技术领域

本公开涉及信息技术领域，尤其涉及一种兼容通用神经网络数据、稀疏神经网络数据和离散神经网络数据的神经网络运算装置及方法。

背景技术

人工神经网络(ANNs)，简称神经网络(NNs)，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。目前，神经网络在智能控制、机器学习等很多领域均获得长足发展。随着深度学习技术的不断发展，当前神经网络的模型规模越来越大，对运算性能以及访存带宽需求越来越高，已有的神经网络运算平台(CPU，GPU，传统神经网络加速器)已无法满足用户需求。

为了提高神经网络运算平台的运算效率，在通用神经网络数据的基础上，发展出稀疏神经网络数据和离散神经网络数据。然而，目前的神经网络运算平台针对每一种类型的神经网络数据均需要设立单独的处理模块进行处理，造成计算资源紧张，并连带产生了访存带宽不够、功耗过高等问题。

公开内容

(一)要解决的技术问题

鉴于上述技术问题，本公开提供了一种神经网络运算装置及方法，以提升神经网络数据处理的复用化程度，节省计算资源。

(二)技术方案

根据本公开的一个方面，提供了一种神经网络运算装置。该神经网络运算装置包括：控制单元、稀疏选择单元和神经网络运算单元；其中：控制单元，用于产生分别对应稀疏选择单元和神经网络运算单元的微指令，并将微指令发送至相应单元；稀疏选择单元，用于根据控制单元下发的对应稀疏选择单元的微指令，依照其中的稀疏数据表示的位置信息，在神经网络数据中选择与有效权值相对应的神经网络数据参与运算；以及神经网络运算单元，用于根据控制单元下发的对应神经网络运算单元的微指令，对稀疏选择单元选取的神经网络数据执行神经网络运算，得到运算结果。

根据本公开的另一个方面，还提供了一种电子设备，包括上述的神经网络运算装置。

根据本公开的另一个方面，还提供了一种神经网络运算装置的神经网络数据处理方法，所述神经网络运算装置包括稀疏选择单元和神经网络运算单元，所述方法包括：产生分别对应所述稀疏选择单元和所述神经网络运算单元的微指令，并将微指令发送至相应单元；根据控制单元下发的对应稀疏选择单元的微指令，依照其中的稀疏数据表示的位置信息，在神经网络数据中选择与有效权值相对应的神经网络数据参与运算；以及根据控制单元下发的对应神经网络运算单元的微指令，对稀疏选择单元选取的神经网络数据执行神经网络运算，得到运算结果。

(三)有益效果

从上述技术方案可以看出，本公开神经网络运算装置及方法至少具有以下有益效果其中之一：

(1)通过复用稀疏选择单元，同时高效支持稀疏神经网络以及离散数据表示的神经网络运算，实现了减少运算需要的数据量，增加运算过程中的数据复用，从而解决了现有技术中存在的运算性能不足、访存带宽不够、功耗过高等问题；