[发明专利]用于基于硬件的池化的系统和方法

说明书

本文描述了系统和方法，其利用新颖的基于硬件的池化架构来处理卷积引擎的输出，卷积引擎的输出表示卷积神经网络(CNN)中的卷积层的输出通道。池化系统将输出转换为一组阵列，并且根据池化操作将为一组阵列对准以生成池化结果。在某些实施例中，这通过使用对准器来实现，该对准器例如在多个算术循环上，将输出中的数据的阵列对准到行中，并且使行相对于彼此移位。池化器将池化操作应用于来自每行的数据的子集的组合，以生成池化结果。

发明人：Peter Joseph Bannon；Kevin Altair Hurd

相关专利申请的交叉引用

本申请要求2018年01月04日提交、将Peter Joseph Bannon和Kevin Altair Hurd列为发明人、名称为“SYSTEMS AND METHODS FOR HARDWARE-BASED POOLING”的共同拥有的美国专利申请号15/862,369(案卷号20150-2167)的优先权。前述专利文件中的每个通过引用以其整体并入本文。

技术领域

本公开总体上涉及用于改进计算资源(诸如，计算能力和存储要求)的利用率的系统和方法。更具体地，本公开涉及用于在计算机视觉应用中改进算术处理的效率的系统和方法，该计算视觉应用使用卷积神经网络(CNN)架构来生成卷积和池化数据。

背景技术

基于神经网络的图像分类器在自动学习复杂特征以用于分类和对象识别中取得了显著的进步。例如，卷积神经网络(CNN)模型可以用于自动确定图像是否可以被分类为包括人或动物。当进行确定或预测时，CNN将多个分层网络层和子层应用于输入图像。CNN的一个特性是，每个网络层用作先前层的输出，其通常以第一卷积层开始，以一个或多个最终层结束，最终层例如是包括节点的全连接层，节点的激活值递送得分，该得分指示输入图像确实可以被分类为包括某个对象的可能性。

卷积层可以使用被称为核(kernel)或激活函数的若干过滤器，其将一组权重应用于图像的卷积窗口的像素。在训练阶段期间，权重已经由CNN学习，以生成与该窗口相关联的激活值。对于每个过滤器，针对每个像素，卷积层可以具有一个节点(即，神经元)，该节点输出基于一组权重计算的激活值。用于卷积窗口的激活值标识特征或特性，诸如边缘，该边缘可以被用来标识在图像内其他位置处的特征。由于针对过滤器的所有节点可以共享相同的一组权重，因此重复使用权重是增加存储空间和计算时间两者的利用率的常规技术。

CNN的最重要类型的层之一是池化层，池化层是基本的独立构建块，其通常被放置在卷积层之后。当被应用于图像时，池化层允许网络确定特征图并且学习该图像的一组特征。池化被视为非线性子采样或下采样的一个形式，其使用诸如最大池化或平均池化的非线性函数，以在通过网络从一层向另一层前进时减少神经元的数目；由此，减少了计算的量并且进一步改进了计算性能。

池化通常涉及逐步地(stepwise)跨在前卷积层的输出的小的、非重叠区域(即，接收场)而滑动池化窗口(例如，宽度为多个像素并且高度为多个像素的二维正方形)。聚集该区域中的神经元的组的值提供针对在局部邻域中的每个组的单个输出值(例如，整数)。被分配给每个组的这些输出值被传递给后续层而不执行卷积，并且取决于在池化区域中使用的池化函数的类型(例如，平均或最大)。池化窗口的大小和位置取决于池化步幅(即，间隔或步长大小)和输出像素的位置。通常，最后一个池化层跟随有CNN架构的最终输出层(例如，具有soft-max非线性的全连接层)，该最终输出层输出最终预测，例如，作为对每个特定分类的条件概率的估计。

尽管通过共享权重和改进算术逻辑单元利用率，在改进卷积层的性能上已经取得了很大的进步，但由于现有神经网络架构固有的限制，池化层已被忽视，池化层是类似地计算密集的。

因此，期望具有改进神经网络中的池化层的性能的系统和方法，来进一步提高可用的计算资源的利用端性能以降低总体计算成本。