[发明专利]神经网络的硬件实现方式

说明书

公开了神经网络的硬件实现方式以及在此类硬件实现方式中处理数据的方法。在块中处理所述网络的多个层的输入数据，以生成输出数据的相应的块。所述处理在深度方向执行经过所述多个层，从而针对给定块评估所述多个层中的所有层，然后再执行至下一个块。

背景技术

深度神经网络(DNN)是一种可用于机器学习应用程序的人工神经网络。特别地，DNN可用于信号处理应用程序，包括图像处理和计算机视觉应用程序。

DNN已在功率资源不作为重要因素的应用程序中得以实现。尽管如此，DNN在许多不同的技术领域中都有应用，在这些技术领域中，用于实现DNN的硬件资源使得功耗、处理能力或硅面积受限。因此，需要实现一种被配置为以高效方式，例如以操作时需要较少的硅面积或较少处理功率的方式实现DNN(或其至少一部分)的硬件。此外，DNN可针对各种不同应用程序以多种不同方式进行配置。因此，还需要一种用于实现DNN的具有能够支持各种DNN配置的灵活性的硬件。

发明内容

提供本发明内容是为了以简化的形式介绍下文在具体实施方式中进一步描述的一系列概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

公开了神经网络的硬件实现方式以及在此类硬件实现方式中处理数据的方法。在块中处理网络的多个层的输入数据，以生成输出数据的相应的块。处理在深度方向执行经过多个层，从而针对给定块评估多个层中的所有层，然后再执行至下一个块。

根据一个方面，公开了一种在包括多个层的神经网络的硬件实现方式中处理数据的方法，该方法包括：

在一个或多个第一存储器装置中提供表示多个层的权重的权重数据；

在一个或多个第一存储器装置中，提供多个层中的第一层的输入数据，所述多个层终止于生成p个输出数据集的结束层，每个集合包括n个输出数据元素；

从一个或多个第一存储器装置读取表示输入数据的第一块的输入数据的第一子集；

从一个或多个第一存储器装置读取权重数据；

处理权重数据和输入数据的第一子集，以评估多个层中的每一层，从而计算第一输出数据集的输出数据的第一块；以及

将输出数据的第一块写入一个或多个第一存储器装置。

根据一个示例，公开了一种在包括多个层的神经网络的硬件实现方式中处理数据的方法，该方法包括：

在一个或多个第一存储器装置中提供表示多个层的权重的权重数据；

在一个或多个第一存储器装置中，提供多个层中的第一层的输入数据，所述多个层终止于生成p个输出数据集的结束层，每个集合包括n个输出数据元素，其中n2并且p≥1，并且p取决于权重数据；

从一个或多个第一存储器装置读取表示输入数据的第一块的输入数据的第一子集；

从一个或多个第一存储器装置读取权重数据；

处理权重数据和输入数据的第一子集，以评估多个层中的每一层，从而计算第一输出数据集的输出数据的第一块，其中输出数据的第一块具有m个输出数据元素，其中m1并且mn；以及

将输出数据的第一块写入一个或多个第一存储器装置。

发明人已经认识到，通过连续评估神经网络的若干层来处理输入数据的块并由此产生输出数据的块可能是有利的。输入数据子集的这种深度优先处理可帮助减少与将网络的每一层的输出写入存储器或从存储器中读取网络的每一层的输出相关联的存储器访问开销。就时间和/或能量成本而言，这种存储器访问开销可能非常大，特别是当存储器为片外存储器时。