[发明专利]神经网络运算装置及方法

说明书

本公开提供了一种神经网络运算装置及方法。该神经网络运算装置包括：控制单元、存储单元、稀疏选择单元和神经网络运算单元；其中：控制单元，用于产生分别对应各个单元的微指令，并将微指令发送至相应单元；稀疏选择单元，用于根据控制单元下发的对应稀疏选择单元的微指令，依照其中的稀疏数据表示的位置信息，在存储单元存储的神经网络数据中选择与有效权值相对应的神经网络数据参与运算；以及神经网络运算单元，用于根据控制单元下发的对应神经网络运算单元的微指令，对稀疏选择单元选取的神经网络数据执行神经网络运算，得到运算结果。本公开可以提升神经网络运算装置处理不同数据类型的能力，加快神经网络运算速度的同时降低功耗。

技术领域

本公开涉及信息技术领域，尤其涉及一种兼容通用神经网络数据、稀疏神经网络数据和离散神经网络数据的神经网络运算装置及方法。

背景技术

人工神经网络(ANNs)，简称神经网络(NNs)，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。目前，神经网络在智能控制、机器学习等很多领域均获得长足发展。随着深度学习技术的不断发展，当前神经网络的模型规模越来越大，对运算性能以及访存带宽需求越来越高，已有的神经网络运算平台(CPU，GPU，传统神经网络加速器)已无法满足用户需求。

为了提高神经网络运算平台的运算效率，在通用神经网络数据的基础上，发展出稀疏神经网络数据和离散神经网络数据。然而，目前的神经网络运算平台针对每一种类型的神经网络数据均需要设立单独的处理模块进行处理，造成计算资源紧张，并连带产生了访存带宽不够、功耗过高等问题。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本公开提供了一种神经网络运算装置及方法，以提升神经网络数据处理的复用化程度，节省计算资源。

(二)技术方案

根据本公开的一个方面，提供了一种神经网络运算装置。该神经网络运算装置包括：离散神经网络数据拆分单元、稀疏选择单元和神经网络运算单元；其中，

所述离散神经网络数据拆分单元，用于根据神经网络数据中实数值的个数N，将神经网络数据的神经网络模型拆分成N个稀疏表示的子网络，每个子网络中只包含一种实数，其余权值都为0；

所述稀疏选择单元，用于在所述子网络的神经网络数据中选择与有效权值相对应的神经网络数据参与运算；

所述神经网络运算单元，用于对所述稀疏选择单元选取的所述神经网络数据执行神经网络运算，得到N个运算结果，并将N个子网络的运算结果求和，从而得到所述神经网络数据的神经网络运算结果。

根据本公开的另一个方面，还提供了一种电子设备，包括上述的神经网络运算装置。

根据本公开的另一个方面，还提供了一种神经网络运算装置的神经网络数据处理方法，

所述方法用于神经网络运算装置，所述神经网络运算装置包括离散神经网络数据拆分单元、稀疏选择单元和神经网络运算单元；所述方法包括：

所述离散神经网络数据拆分单元根据神经网络数据中实数值的个数N，将神经网络数据的神经网络模型拆分成N个稀疏表示的子网络，每个子网络中只包含一种实数，其余权值都为0；

所述稀疏选择单元在所述的稀疏表示的子网络中的稀疏神经网络数据中选择与有效权值相对应的神经网络数据参与运算；

所述神经网络运算单元对所述稀疏选择单元选取的所述稀疏神经网络数据执行神经网络运算，得到N个运算结果，并将N个子网络的运算结果求和，从而得到所述神经网络数据的神经网络运算结果。