[发明专利]使用层间存储器布局变换的高吞吐量神经网络操作

说明书

微处理器包括共享存储器和处理元件。处理元件包括矩阵处理器单元、转置硬件单元、分散硬件单元和收集硬件单元。矩阵处理器单元被配置为执行矩阵运算。转置硬件单元被配置为执行矩阵转置运算。分散硬件单元被配置为将数据放置到共享存储器中为输出数据布局转换选择的位置。收集硬件单元被配置为从共享存储器的非连续位置获得输入数据用于输入数据布局转换。

相关申请的交叉引用

本申请要求2019年5月16日提交的美国申请第16/414,534号的优先权，该申请的内容通过引用以其整体并入本文以用于全部目的。

发明背景

神经网络通常在大型数据集上运行，可以消耗大量的计算和存储器资源来解决复杂的人工智能问题。定制微处理器的创建部分地通过优化对输入数据执行的矩阵运算来提高神经网络的计算效率。这些定制的微处理器通常被设计为优化单一类型的卷积。然而，不同类型的神经网络可能需要不同类型的矩阵运算，包括不同类型的卷积运算。此外，随着神经网络变得更加复杂和/或专门化，神经网络的不同层可能需要不同类型的矩阵运算。因此，需要一种微处理器系统，其支持多种类型的卷积运算，同时在执行神经网络运算时保持高计算吞吐量。

附图简述

在以下详细描述和附图中公开了本发明的各种实施例。

图1是示出使用神经网络解决人工智能问题的系统的实施例的框图。

图2是示出使用神经网络解决人工智能问题的处理元件的实施例的框图。

图3是说明使用神经网络解决人工智能问题的过程的实施例的流程图。

图4是说明使用多层神经网络解决人工智能问题的过程的实施例的流程图。

图5是说明使用多层神经网络解决人工智能问题的过程的实施例的流程图。

图6是说明使用多层神经网络解决人工智能问题的过程的实施例的流程图。

图7是说明使用多层神经网络解决人工智能问题的过程的实施例的流程图。

详细描述

本发明可以以多种方式实现，包括作为过程；装置；系统；物质的组成；体现在计算机可读存储介质上的计算机程序产品；和/或处理器，例如被配置为执行存储在耦合到处理器的存储器上和/或由该存储器提供的指令的处理器。在本说明书中，这些实现或者本发明可以采取的任何其他形式可以被称为技术。通常，在本发明的范围内，可以改变所公开的过程的步骤顺序。除非另有说明，否则被描述为被配置成执行任务的诸如处理器或存储器的组件可以被实现为在给定时间被临时配置为执行任务的通用组件或者被制造为执行任务的特定组件。如本文所使用的，术语“处理器”指的是被配置成处理数据(例如计算机程序指令)的一个或更多个设备、电路和/或处理核心。

下面提供了本发明的一个或更多个实施例的详细描述以及说明本发明原理的附图。结合这些实施例描述了本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求限定，并且本发明包括许多替代、修改和等同物。为了提供对本发明的全面理解，在以下描述中阐述了许多具体细节。这些细节是出于示例的目的而提供的，并且本发明可以根据权利要求来实施，而不需要这些具体细节中的一些或全部。为了清楚起见，没有详细描述与本发明相关的技术领域中已知的技术材料，以免不必要地模糊本发明。