[发明专利]准循环神经网络

权利要求书

1.一种准循环神经网络(缩写QRNN)系统，运行在众多并行处理核上，其提高了基于神经网络的序列分类任务的训练和推理阶段期间的计算速度，包括：

卷积层，包括：

卷积滤波器组，用于在输入向量的多个时间序列中的输入向量的一组时间序列上在时间序列窗口对输入向量进行并行卷积；以及

卷积向量产生器，用于基于并行卷积同时输出每个时间序列窗口的卷积向量，其中每个卷积向量包括激活向量和一个或更多个门向量中的特征值，并且所述门向量中的特征值是分别按序数位置逐元素应用于激活向量中的特征值的参数；

池化层，包括累加器，用于通过在逐序数位置的基础上并发累加卷积向量的分量的特征值，在当前时间序列窗口的状态向量中并行累加特征和的有序集合，其中每个特征和是由累加器根据在为当前时间序列窗口输出的激活向量中的给定序数位置处的特征值，在为当前时间序列窗口输出的一个或更多个门向量中的给定序数位置处的一个或更多个特征值，以及在先前时间序列窗口中累加的状态向量中给定序数位置处的特征和进行累加；

输出产生器，用于在每个连续时间序列窗口处顺序输出由池化层池化的状态向量；以及

分类器，用于使用由输出产生器产生的连续状态向量来执行序列分类任务。

2.如权利要求1所述的QRNN系统，进一步包括维度增加器，用于根据所述卷积滤波器组中的卷积滤波器的数目相对于输入向量的维度增加卷积向量的维度。

3.如权利要求1-2中任一项所述的QRNN系统，其中所述输入向量表示输入序列的元素，并且其中所述池化层包括用于编码所述状态向量中的元素的顺序和上下文信息的编码器。

4.如权利要求1-3中任一项所述的QRNN系统，其中所述输入序列是单词级序列。

5.如权利要求1-4中任一项所述的QRNN系统，其中所述输入序列是字符级序列。

6.如权利要求1-5中任一项所述的QRNN系统，其中门向量是遗忘门向量，并且其中所述池化层包括用于当前时间序列窗口的遗忘门向量，用于控制来自为先前时间序列窗口累加的所述状态向量的信息和来自用于当前时间序列窗口的所述激活向量的信息的累加。

7.如权利要求1-6中任一项所述的QRNN系统，其中门向量是输入门向量，并且其中所述池化层使用包括用于当前时间序列窗口的输入门向量，用于控制来自当前时间序列窗口的所述激活向量的信息的累加。

8.如权利要求1-7中任一项所述的QRNN系统，其中门向量是输出门向量，并且其中所述池化层使用包括用于当前时间序列窗口的输出门向量，用于控制来自当前时间序列窗口的状态向量的信息的累加。

9.如权利要求1-8中任一项所述的QRNN系统，进一步配置为包括以从最低到最高的顺序布置的多个子QRNN系统，用于执行序列分类任务，其中每个子QRNN系统包括用于并行卷积的至少一个卷积层和用于并行累加的至少一个池化层。

10.如权利要求1-9中任一项所述的QRNN系统，其中子QRNN系统包括

输入接收器，用于接收由序列中前一个子QRNN系统生成的在前输出作为输入；

卷积层，用于所述在前输出的并行卷积以产生所述在前输出的替代表示；以及

池化层，用于并行累加所述替代表示以产生输出。

11.如权利要求1-10中任一项所述的QRNN系统，进一步配置成包括子QRNN系统之间和子QRNN系统中的层之间的跳跃连接，用于将前一层的输出与当前层的输出连接，并用于将所述连接提供给后续层作为输入。

12.如权利要求1-11中任一项所述的QRNN系统，其中所述序列分类任务是语言建模。

13.如权利要求1-12中任一项所述的QRNN系统，其中所述序列分类任务是情感分类。