[发明专利]神经网络运算模块和方法

说明书

本发明公开了一种神经网络处理装置，其映射单元接收输入神经元的连接关系数据和权值的连接关系数据后，根据输入神经元的连接关系数据和权值的连接关系数据获取处理后的输入神经元和处理后的权值；神经网络处理装置的运算单元对处理后的输入神经元和处理后的权值进行人工神经网络运算。采用本发明实施例可减少装置的额外开销，并减小访问量，提高了神经网络运算效率。

技术领域

本发明涉及神经网络领域，尤其涉及一种神经网络运算模块和方法。

背景技术

人工神经网络(Artificial Neural Networks,ANNs)简称为神经网络(NeuralNetworks,NNs)。它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。

神经网络是一个高计算量和高访存的算法，权值越多，计算量和访存量。都会增大。为了减小计算量和权值数量，从而降低访存量，因此提出了稀疏神经网络。稀疏神经网络的定义为：在神经网络中，值为0的权值的数目很多，并且值为非0的权值分布没有规律，则称该神经网络为稀疏神经网络。定义权值为0的元素数量与神经网络所有权值元素数量的比值为神经网络的稀疏度，如图1a所示。

现有技术中，GPU在执行图形图像运算以及科学计算时会涉及稀疏神经网络的计算，但是由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对稀疏的卷积神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行稀疏的人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

本发明实施例提供一种神经网络运算模块及方法，通过对神经网络数据进行处理，减小了在进行人工神经网络运算之前译码的工作量，进而减小了额外的开销，并且提高了运算速率。

第一方面，本发明实施例提供了一种神经网络运算模块，包括：

映射单元，用于接收到输入数据的连接关系数据后，根据所述输入数据的连接关系数据获取处理后的输入数据，所述输入数据包括输入神经元和权值，所述处理后的输入数据包括处理后的输入神经元和处理后的权值；具体包括：所述输入数据是以矩阵的形式表示的，所述输入数据的连接关系数据以列表的列表LIL的形式表示，以所述LIL的形式表示的连接关系数据包括至少一个列表，所述至少一个列表中的每个列表包括至少一个记录，所述记录包括绝对值大于预设阈值的输入数据的列索引和绝对值大于预设阈值的输入数据的值，所述映射单元具体用于：

根据所述LIL中的每个记录获取所述处理后的输入数据，并将所述处理后的输入数据存储到所述第一输入缓存单元中，或者；

所述输入数据是以矩阵的形式表示的，所述输入数据的连接关系数据以坐标列表COO的形式表示，以所述COO形式表示的连接关系数据由至少一个元组组成，所述元组包括输入数据矩阵中绝对值大于预设阈值的输入数据在所述输入数据矩阵中的行号、列号和该绝对值大于预设阈值的输入数据的值，所述映射单元具体用于：

根据所述坐标列表中的每个元组获取所述处理后的输入数据，并将所述处理后的输入数据存储到所述第一输入缓存单元中，或者；

所述输入数据是以矩阵的形式表示的，所述输入数据的连接关系数据以压缩稀疏行CSR的形式表示，以所述CSR的形式表示的连接关系数据包括三个数组，分别为第一数组，第二数组和第三数组，所述第一数组存储输入数据矩阵中的绝对值大于预设阈值的输入数据的值，所述第二数组存储所述输入数据矩阵中的绝对值大于预设阈值的输入数据在所述输入数据矩阵中的列索引，所述第三数组用于累加存储所述输入数据矩阵中每一行绝对值大于预设阈值的输入数据的个数，并且所述第三数组中的最后一个元素存储所述输入数据矩阵中绝对值大于预设阈值的输入数据的个数，所述映射单元具体用于：