[发明专利]神经网络处理器中基于滑动窗口的存储器访问

说明书

一种新颖且有用的神经网络处理核，适于实现人工神经网络并包括基于可配置且可编程滑动窗口的存储器访问。存储器映射和分配方案对支持高度并行性的随机且完全访问与到整个地址空间的子集的静态映射进行折衷。NN处理器由以分层架构组织的独立计算单元构成。同质性使得更简单地管理和控制聚合在多个层级中的类似的计算单元。计算单元设计成具有尽可能最小的开销，其中另外的特征和能力聚合在层次结构中的更高级别。片上存储器为特定层次结构处的基本操作固有需要的内容提供存储，并以最佳比率与计算资源耦接。精益控制提供正好足够的信令来管理仅特定层级处需要的操作。提供动态资源指派敏捷性，其可根据装置的资源可用性和容量按照需要进行调整。

技术领域

本文所公开的主题涉及神经网络领域，并且更特别地涉及神经网络(NN)处理引擎，所述神经网络处理引擎适于实现人工神经网络(ANN)并且包括基于可配置且可编程的滑动窗口的存储器访问。

背景技术

人工神经网络(ANN)是受构成动物大脑的生物神经网络启发的计算系统。这些系统通过考虑实例来学习(即逐步改进性能)以完成任务，而通常不需要通过提取那些任务中的关键特征并从大量的实例中进行概括来进行特定于任务的编程。例如，在图像识别中，它们可能学习通过分析已经被手动标记为“猫”或“非猫”的示例性图像并且使用分析结果来标识其他图像中的猫来标识包含猫的图像。它们已经发现在传统计算机算法中应用程序中的大多数用途难以使用基于规则的编程来表达。

ANN是基于一组称为人工神经元(类似于生物大脑中的神经元)的连接单元。神经元之间的每个连接或突触可将信号传递给另一个神经元。接收或突触后神经元连接到另一个或若干神经元,并且可处理信号并且然后通过突触(也称为轴突)向连接到它的下游神经元发信号。神经元可具有状态，总体上由实数表示，通常在0与1之间。神经元和突触还可具有随学习进行而变化的权重，这可增加或减小它发送到下游的信号的强度。此外，它们可具有阈值，使得只有聚合信号低于或高于所述级别时才发送下游信号。

通常，神经元按层组织。不同的层可对它们的输入执行不同类型的转换。信号可能在多次遍历层之后从第一(即，输入)层行进到最后(即，输出)层。

神经网络方法的初始目标是以同人类大脑相同的方式解决问题。随着时间的推移，关注集中于匹配具体的心智能力，这导致偏离生物学，诸如反向传播，或反向传递信息并且调整网络以反映该信息。

人工神经网络的部件包括：(1)具有激活阈值的神经元；(2)用于传递神经元的输出的连接和权重；(3)用于计算来自前代神经元输出的对神经元的输入的传播函数；以及(4)学习规则，其是一种算法，所述算法修改神经网络参数以便给定输入产生期望结果，这通常相当于修改权重和阈值。

鉴于要解决的具体任务和一类函数F，学习需要使用一组观察来找到在某种最佳意义上解决任务的函数。成本函数C被限定成使得：对于最佳解决方案，没有其他解决方案具有比最佳解决方案的成本小的成本。

成本函数C是特定解决方案距待解决的问题的最佳解决方案的距离的量度。学习算法搜索解决方案空间以找到具有最小可能成本的函数。

可使用反向传播来训练神经网络，所述反向传播是计算相对于ANN中的权重的损失函数的梯度的方法。反向传播的权重更新可通过熟知的随机梯度下降技术来完成。应注意，成本函数的选择取决于诸如学习类型(例如，监督、无监督、强化)和激活函数的因素。

有三种主要的学习范式，并且每种学习范式对应于一个特定的学习任务：监督学习、无监督学习和强化学习。监督学习使用一组实例对，并且目标是在与实例匹配的允许的一类函数中查找函数。常用的成本是均方误差，它尝试使所有实例对上的网络输出与目标值之间的平均平方误差最小化。使用称为多层感知器(MLP)的一类神经网络的梯度下降来使此成本最小化产生了用于训练神经网络的反向传播算法。监督学习的实例包括图像识别，即分类和回归，即函数逼近。