[发明专利]用于在硬件中运行动态循环神经网络的方法和系统

说明书

用于在硬件中运行动态循环神经网络的方法和系统。循环神经网络的每个步骤用于对序列的不同输入进行运算，方法包括：接收RNN的表示；将RNN的表示变换为用于在输入序列的预先确定的多个输入上进行运算的导数神经网络，导数神经网络具有一个或多个状态输入和一个或多个状态输出，并且在RNN的预先确定的多个步骤上等同于RNN；以及通过以下方式将导数神经网络迭代地应用于输入序列：在硬件中实施导数神经网络的实例序列；以及将来自硬件处的导数神经网络的每一个实例的一个或多个状态输出作为一个或多个状态输入提供给硬件处的导数神经网络的后续实例，以便在比预先确定的多个输入长的输入序列上运算RNN。

技术领域

本公开涉及用于实施循环神经网络(RNN)的方法和数据处理系统。

背景技术

循环神经网络(RNN)是一种用于对输入序列进行运算的人工神经网络，其中提供对序列中的输入的处理期间生成的状态以用于处理序列中的一个或多个后续输入。因此，RNN的输出不仅受到网络输入的影响，而且还受到表示序列中的先前点处的网络上下文的状态的影响。以此方式，RNN的运算受到网络执行的历史处理的影响，并且相同的输入可产生不同的输出，具体取决于提供给RNN的序列中的先前输入。

RNN可用于机器学习应用程序。特别地，RNN可以应用于表示时间序列的输入，该时间序列可能是无限长度的时间序列。例如，RNN用于语音识别和合成、机器翻译、手写识别和时间序列预测。

发明内容

提供本发明内容是为了介绍在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

提供了一种在硬件中实施用于对输入序列进行运算的循环神经网络(RNN)的方法，该循环神经网络的每一个步骤用于对序列的不同输入进行运算，该方法包括：

接收RNN的表示；

将RNN的表示变换为用于在输入序列的预先确定的多个输入上进行运算的导数神经网络，该导数神经网络具有一个或多个状态输入和一个或多个状态输出，并且在RNN的预先确定的多个步骤上等同于RNN；以及

通过以下方式将导数神经网络迭代地应用于输入序列：

在硬件中实施导数神经网络的实例序列；以及

将来自硬件处的导数神经网络的每个实例的一个或多个状态输出作为一个或多个状态输入提供给硬件处的导数神经网络的后续实例，以便在比预先确定的多个输入长的输入序列上运算RNN。

预先确定的多个步骤在数量上可等于预先确定的多个输入。

来自导数神经网络的每个实例的一个或多个状态输出可以作为一个或多个状态输入提供给导数神经网络实例序列中的导数神经网络的后续实例。

实施导数神经网络的实例序列可以包括实施导数神经网络的实例，并且在完成该实例后，使序列中导数神经网络的下一个实例在硬件中实施。

变换可包括在预先确定的多个步骤上展开循环神经网络，以便形成用于在输入序列的预先确定的多个输入上进行运算的导数神经网络。

硬件及其控制逻辑可适于执行前馈神经网络。

硬件及其控制逻辑可能无法执行所接收的RNN的表示。

硬件及其控制逻辑可能无法执行动态神经网络。

导数神经网络可以为前馈神经网络。

RNN可包括一个或多个元胞(cell)，每个元胞被布置成接收在前一个步骤生成的元胞状态输入，并且变换RNN的表示还包括在每个元胞处：

标识用于不依赖于元胞状态输入而执行的非因果运算；以及