[发明专利]使用卷积神经网络处理序列

权利要求书

1.一种由一个或多个计算机实施的神经网络系统，

其中所述神经网络系统被配置为接收包括多个输入的输入序列，并从所述输入序列生成神经网络输出，以及

其中所述神经网络系统包括：

卷积子网络，包括多个扩张卷积神经网络层，其中所述卷积子网络被配置为，对于多个输入中的每一个：

接收包括所述输入序列中的输入和所述输入之前的输入的当前输入序列，以及

处理所述当前输入序列以生成所述输入的替代表示；和

输出子网络，其中所述输出子网络被配置为接收所述输入的替代表示，并处理所述替代表示以生成包括多个输出的输出序列的神经网络输出；

其中，所述输入序列和所述输出序列是以下之一：

所述输入序列是音频数据元素的音频数据输入序列，而所述输出序列是作为音频数据输入序列中所说的文字的字素表示的字素序列；

所述输入序列是音频数据元素的音频数据输入序列，而所述输出序列是作为音频数据输入序列中所说的文字的音素表示的音素序列；

所述输入序列为音频数据元素的音频数据输入序列，而所述输出序列表征音频数据输入序列中所说的文字；

所述输入序列是音素序列，而所述输出序列是表示所述输入序列的自然语言的文字序列；

所述输入序列是字素序列，而所述输出序列是表示所述输入序列的自然语言的文字序列；

所述输入序列是第一自然语言的文字序列，而所述输出序列是第二自然语言的文字序列，所述输出序列是所述输入序列到所述第二自然语言的翻译；

所述输入序列是自然语言的文字序列，而所述输出序列是是根据自然语言处理任务所要求的输出的种类对所述输入序列中的文字进行分类的序列；

所述输入序列是从输入样本中提取的数据元素序列，而所述输出序列是压缩的或编码的样本；

所述输入序列是特定患者的健康数据元素序列，而所述输出序列包括表征患者健康或预测患者未来健康的数据；

其中所述神经网络输出包括多个分数集，其中每个分数集包括多个可能输出中的每一个的相应分数，并且其中所述神经网络系统还包括：子系统，被配置为根据分数集选择输出，以生成包括多个输出的所述输出序列，并且其中所述扩张卷积神经网络层是因果卷积神经网络层。

2.根据权利要求1所述的神经网络系统，其中所述输出子网络包括：

平均池化层，被配置为：

接收替代表示的子集，以及

对所述替代表示的子集执行平均池化，以生成所述子集的平均池化表示；和

一个或多个附加神经网络层，被配置为对于所述替代表示的每个子集，接收所述子集的平均池化表示，并且为输出序列中对应于所述子集的位置生成分数集。

3.根据权利要求1所述的神经网络系统，其中所述扩张卷积神经网络层包括扩张卷积神经网络层的多个块，其中每个块包括具有增加的扩张因子的多个扩张卷积神经网络层。

4.根据权利要求1所述的神经网络系统，其中所述扩张卷积神经网络层中的一个或多个具有门控激活单元。

5.根据权利要求1所述的神经网络系统，其中所述卷积子网络包括残差连接。

6.根据权利要求1所述的神经网络系统，其中所述卷积子网络包括跳跃连接。

7.一种编码有指令的计算机存储介质，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1-6中任一项的相应神经网络系统。