[发明专利]神经网络运算模块和方法

说明书

本发明公开了一种神经网络运算模块，其映射单元接收到第一输入数据的连接关系数据后，根据该第一输入数据的连接关系数据获取处理后的第一输入数据，运算单元获取处理后的第一输入数据和处理后的第二输入数据后，根据指令控制单元对神经网络运算指令进行译码得到的微指令对处理后的第一输入数据和处理后的第二输入数据进行人工神经网络运算；其中，第一输入数据为输入神经元或者权值，第二输入数据为权值或者输入神经元，且第一输入数据和第二输入数据不一致。采用本发明实施例减小了在进行人工神经网络运算之前译码的工作量，进而减小了额外的开销，并且提高了运算速率。

技术领域

本发明涉及神经网络领域，尤其涉及一种神经网络运算模块和方法。

背景技术

人工神经网络(Artificial Neural Networks,ANNs)简称为神经网络(NeuralNetworks,NNs)。它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。

神经网络是一个高计算量和高访存的算法，权值越多，计算量和访存量。都会增大。为了减小计算量和权值数量，从而降低访存量，因此提出了稀疏神经网络。稀疏神经网络的定义为：在神经网络中，值为0的权值的数目很多，并且值为非0的权值分布没有规律，则称该神经网络为稀疏神经网络。定义权值为0的元素数量与神经网络所有权值元素数量的比值为神经网络的稀疏度，如图1a所示。

现有技术中，GPU在执行图形图像运算以及科学计算时会涉及稀疏神经网络的计算，但是由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对稀疏的卷积神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行稀疏的人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

本发明实施例提供一种神经网络运算模块及方法，通过对神经网络数据(包括输入神经元和权值)进行处理，减小了在进行人工神经网络运算之前译码的工作量，进而减小了额外的开销，提高了运算速率。

第一方面，本发明实施例提供了一种神经网络运算模块，包括：

映射单元，用于获取第一输入数据的连接关系数据后，根据所述第一输入数据的连接关系数据获取处理后的第一输入数据，并将所述处理后的第一输入数据存储到第一输入缓存单元中；所述第一输入数据的连接关系数据为输入神经元的连接关系数据或者权值的连接关系数据，所述处理后的第一输入数据为处理后的输入神经元或者处理后的权值；

运算单元，用于从第一输入缓存单元和第二输入缓存单元中分别获取所述处理后的第一输入数据和所述处理后的第二输入数据后，根据微指令对所述处理后的第一输入数据和所述处理后的第二输入数据进行人工神经网络运算，以得到运算结果；

其中，所述处理后的第二输入数据为处理后的输入神经元或者处理后的权值，且所述处理后的第一输入数据与所述处理后的第二输入数据不一致。

第二方面，本发明实施例提供了一种神经网络运算方法，包括：

根据第一输入数据的连接关系数据获取处理后的第一输入数据，所述第一输入数据为输入神经元或者权值；

获取神经运算指令和处理后的第二输入数据，将所述神经运算指令译码成微指令，所述第二输入数据为输入神经元或者权值，所述第一输入数据与所述第二输入数据不一致；

根据所述微指令对所述处理后的第一输入数据和所述处理后的第二输入数据进行人工神经网络运算，以得到运算结果。