[发明专利]用于在硬件中运行动态循环神经网络的方法和系统

权利要求书

1.一种用于在硬件中实施用于对输入序列进行运算的循环神经网络(RNN)的方法，所述循环神经网络的每个步骤用于对所述序列的不同输入进行运算，所述方法包括：

接收所述RNN的表示；

将所述RNN的所述表示变换为用于在所述输入序列的预先确定的多个输入上进行运算的导数神经网络，所述导数神经网络具有一个或多个状态输入和一个或多个状态输出，并且在所述RNN的预先确定的多个步骤上等同于所述RNN；以及

通过以下方式将所述导数神经网络迭代地应用于所述输入序列：

在硬件中实施所述导数神经网络的实例序列；以及

将来自所述硬件处的所述导数神经网络的每个实例的所述一个或多个状态输出作为所述一个或多个状态输入提供给所述硬件处的所述导数神经网络的后续实例，以便在比所述预先确定的多个输入长的输入序列上运算所述RNN。

2.如权利要求1所述的方法，其中所述预先确定的多个步骤在数量上等于所述预先确定的多个输入。

3.如权利要求1或2所述的方法，其中来自所述导数神经网络的每个实例的所述一个或多个状态输出作为所述一个或多个状态输入提供给所述导数神经网络的所述实例序列中的所述导数神经网络的所述后续实例。

4.如权利要求1或2所述的方法，其中所述实施所述导数神经网络的实例序列包括实施所述导数神经网络的实例，并且在所述实例完成之后，使所述序列中的所述导数神经网络的下一个实例在硬件中实施。

5.如权利要求1或2所述的方法，其中所述变换包括在所述预先确定的多个步骤上展开所述循环神经网络，以便形成用于在所述输入序列的所述预先确定的多个输入上进行运算的所述导数神经网络。

6.如权利要求1或2所述的方法，其中所述硬件及其控制逻辑适于执行前馈神经网络。

7.如权利要求1或2所述的方法，其中所述硬件及其控制逻辑无法执行所接收的所述RNN的表示。

8.如权利要求1或2所述的方法，其中所述硬件及其控制逻辑无法执行动态神经网络。

9.如权利要求1或2所述的方法，其中所述导数物神经网络为前馈神经网络。

10.如权利要求1或2所述的方法，其中所述RNN包括一个或多个元胞，每个元胞被布置成接收在前一个步骤生成的元胞状态输入，并且所述变换所述RNN的所述表示还包括在每个元胞处：

标识用于不依赖于所述元胞状态输入而执行的非因果运算；以及

在所述导数神经网络中，将所述预先确定的多个步骤中的至少一些步骤上的所述元胞的多个实例处的至少一些非因果运算分组在一起，以供在所述硬件处并行处理。

11.如权利要求10所述的方法，其中所述元胞包括用于依赖于所述元胞状态输入而执行的因果运算。

12.如权利要求10所述的方法，其中所述元胞状态输入的至少一部分在前一个步骤在所述元胞的前一个实例处生成。

13.如权利要求10所述的方法，其中所述分组在一起包括对所述至少一些非因果运算进行组合，以作为所述导数神经网络中的所述元胞的所述多个实例的单个卷积运算执行。

14.如权利要求10所述的方法，其中所述变换所述RNN的所述表示还包括将所述至少一些非因果运算与所述因果运算分离。

15.如权利要求11所述的方法，其中所述在硬件中实施所述导数神经网络的实例序列包括，对于每一个实例，使所述硬件并行地处理一组或多组非因果运算。