[发明专利]权重数据存储方法和基于该方法的神经网络处理器

说明书

本发明提供一种神经网络中的权重数据存储方法和卷积计算方法。所述权重存储方法包括：查找权重卷积核矩阵中的有效权重并获取有效权重索引，其中，所述有效权重是非零权重，所述有效权重索引用于标记所述有效权重在所述权重卷积核矩阵中的位置；存储所述有效权重以及所述有效权重索引。根据本发明的权重数据存储方法和卷积计算方法能够节省存储空间并提高计算效率。

技术领域

本发明涉及计算机学习技术领域，尤其涉及一种权重数据存储方法和基于该方法的神经网络处理器。

背景技术

近年来，深度学习技术得到了飞速发展，在解决高级抽象认知问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用，成为学术界和工业界的研究热点。

深度神经网络是人工智能领域具有最高发展水平的感知模型之一，其通过建立模型来模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来突破性进展。深度神经网络模型是一种运算模型，由大量节点通过网状互连结构构成，这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权重，即权重，与人类神经网络中的记忆相对应。

然而，在现有技术中，神经网络存在处理速度慢，运行功耗大等问题。这是由于深度学习技术依赖于极大的计算量，例如，在训练阶段，需要在海量数据中通过反复迭代计算得到神经网络中的权重数据；在推理阶段，同样需要神经网络在极短的响应时间(通常为毫秒级)内完成对输入数据的运算处理，特别是当神经网络应用于实时系统时，例如，自动驾驶领域。神经网络中涉及的计算主要包括卷积操作、激活操作和池化操作等，其中，卷积操作和池化操作占用了神经网络处理的大部分时间。

因此，为了将神经网络推向更广泛应用，例如，智能穿戴、智能机器人、自动驾驶以及模式识别等领域，需要对现有技术进行改进，以实现数据处理的实时性、低功耗以及计算资源利用率的提升。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种权重数据存储方法和基于该方法的神经网络处理器。

根据本发明的第一方面，提供了一种神经网络中的权重数据存储方法。该存储方法包括以下步骤：

步骤1：查找权重卷积核矩阵中的有效权重并获取有效权重索引，其中，所述有效权重是非零权重，所述有效权重索引标记所述有效权重在所述权重卷积核矩阵中的位置；步骤2：存储所述有效权重以及所述有效权重索引。

在一个实施例中，步骤1包括：

步骤11：将所述权重卷积核矩阵扩展K*K的正方形矩阵以使所述正方形矩阵能被等分为P²个子矩阵，其中P是大于等于2的整数；

步骤12：将所述正方形矩阵等分为P²个子矩阵；

步骤13：对于所述P²个子矩阵中包含有效权重的子矩阵进一步递归式等分，直到子矩阵仅包含一个权重，从而获得多级子矩阵；

步骤14：对于所述多级子矩阵中包含有效权重的子矩阵，标记有效路径分支为比特值1，以获得所述有效权重索引。

在一个实施例中，K取值为mⁿ，m是大于等于2的整数，n是大于等于1的整数。

在一个实施例中，在步骤1中，所述有效权重索引是所述有效权重在所述权重卷积核矩阵的行坐标和列坐标。

根据本发明的第二方面，提供了一种神经网络中的卷积计算方法。该计算方法包括以下步骤：

步骤41：获取根据本发明的权重数据存储方法所存储的有效权重以及有效权重索引；

步骤42：根据所述有效权重索引获取与所述有效权重匹配的卷积域神经元；