[发明专利]快速稀疏神经网络

说明书

本发明提供了一种神经网络系统，所述系统包括至少一个层，所述层使用稀疏权重矩阵所定义的内核将1x 1卷积应用于稠密激活矩阵。所述层由处理器通过访问稀疏性数据集来实施，所述稀疏性数据集指示空权重在所述权重矩阵中的位置。所述处理器从存储器单元中选择与其他权重对应的特征值，然后使用这些提取的特征值来计算所述卷积值，所述存储器单元被配置为存储所述激活矩阵。

背景技术

本说明书涉及神经网络系统，特别是能够在存储器和/或处理能力有限的处理器设备(诸如移动设备)上实施的系统。

神经网络是机器学习模型，该机器学习模型采用一层或多层单元或节点来预测接收的输入的输出。除了输出层之外，有些神经网络还包括一个或多个隐藏层。每个隐藏层的输出都被用作网络中的下一层的输入，即，下一个隐藏层或输出层。网络的每一层都根据相应的参数集的当前值从接收的输入生成输出。

许多神经网络包括卷积层，该卷积层具有基于元素数组而定义的输入和同样基于元素数组而定义的输出。通常，数组是二维数组，诸如矩形数组(例如方形数组)，其宽度为W列，高度为H行。每个元素都与“输入通道”相关联，该“输入通道”是由C’个特征值组成的特征向量(其中C’是整数，通常大于1)。HW输入通道是卷积层的输入。因此，输入通道集构成具有C’×HW个分量的激活矩阵。对于每个元素，卷积层将包括元素的数组的相应nxm部分的相应特征向量与内核相乘，形成元素的相应“输出通道”。每个元素的输出通道都有C个卷积值(其中C是整数，通常与C’不同)。非线性函数(激活函数)，诸如修正线性(ReLU)激活函数，通常应用于元素的输出通道的C个卷积值中的每个卷积值。

在一个被称为“1x1卷积层”的示例中，n和m等于1，这样，数组的元素的输出通道所依赖的唯一输入通道就是该元素的输入通道。在这种情况下，内核在将激活函数(如果有的话)应用于每个卷积值之前，将权重值的C’×C权重矩阵(“权重”)应用于元素的输入通道，以生成元素的输出通道。

卷积神经网络(CNN)，即包括至少一个卷积层的神经网络，已被证明在解决各种各样的任务方面非常出色。在许多这些体系结构中，推理时间、浮点运算(FLOP)和参数计数由1x1卷积控制，其相当于矩阵-矩阵乘法。

发明内容

本说明书描述了一种神经网络系统，该神经网络系统实施为在一个或多个位置的一个或多个计算机上的计算机程序。

一般来说，本公开提出，应用于稠密激活矩阵的1x1卷积层(即H×W元素中的每个元素的大体上全部的C’特征值都在生成元素的相应输出通道的过程中得以使用)使用由稀疏C’x C权重矩阵所定义的核。即，权重矩阵的值有一半以上是“空”权重，即在计算卷积值时不使用并且可以被认为是零的权重。通过向处理器提供稀疏性数据集(该稀疏性数据集是空权重在权重矩阵中所在的位置的指示)，处理器从被配置为存储激活矩阵的存储器单元中(仅)选择与其他权重(“非空权重”，定义为不是空权重的权重)对应的特征值，然后(仅)使用这些提取的特征值来计算卷积值。对于数组的多个不同元素中的每个元素的对应卷积值，这可以高效地(例如并行地或在很短的时间间隔内连续地)完成，因为所有元素都需要相同的对应权重。即，不同元素的对应卷积值取决于相同的权重。

多个元素可以位于数组的同一行，即，它们可以是元素的“行向量”，例如作为该行中连续的一系列元素。如在许多已知的存储器单元中，用于存储特征值的存储器单元具有CHW格式的存储器布局，在这种情况下，选择多个元素作为同一行的元素是特别受激励的。在这种情况下，卷积向量的计算可以有效地用同一行中元素的连续的(通常不重叠的)行向量的内循环和连续行的外循环来执行。注意，在实现方式中，存储器单元可以实施为多个物理上分离的存储器设备。

存储激活矩阵的存储器单元可以被称为特征值存储器单元。权重值存储在被称为权重存储器单元的另一个存储器单元中。在实现方式中，权重存储器单元可以是与实施特征值存储器单元的存储器设备相同的存储器设备或不同的存储器设备。