[发明专利]使用卷积神经网络处理序列

说明书

用于生成从输入序列生成神经网络输出的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。其中一种方法包括，对于输入中的每一个，将包括输入序列中的该输入和该输入之前的输入的当前输入序列提供给包括多个扩张卷积神经网络层的卷积子网络，其中卷积子网络被配置为，对于多个输入中的每一个：接收该输入的当前输入序列，并处理当前输入序列以生成输入的替代表示；以及向输出子网络提供替代表示，其中输出子网络被配置为接收替代表示并处理替代表示以生成神经网络输出。

技术领域

本发明的领域一般涉及提供神经网络，更具体地说，涉及使用神经网络处理序列。

背景技术

本说明书涉及使用神经网络处理序列。

神经网络是机器学习模型，它采用一层或多层非线性单元来对于接收的输入预测输出。一些神经网络除了输出层之外还包括一个或多个隐藏层。在网络中，每个隐藏层的输出被用作下一层(即，下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从接收的输入生成输出。

发明内容

本说明书描述了在一个或多个位置的一个或多个计算机上实施为计算机程序的系统可以如何通过处理包括多个输入的序列来生成神经网络输出。

在一个创新方面，由一个或多个计算机实施的神经网络系统被配置为接收包括多个输入的输入序列，并从输入序列生成神经网络输出。神经网络系统可以包括卷积子网络，该卷积子网络包括多个扩张卷积神经网络层和输出子网络。卷积子网络可以被配置为，对于多个输入中的每一个：接收包括输入序列中的该输入和该输入之前的输入的当前输入序列，并且处理当前输入序列以生成输入的替代表示。因此，该替代表示可以包括数字表示，即数字值的有序集合，其中当前输入序列已经由卷积子网络编码，例如编码当前序列的特征。输出子网络可以被配置为接收输入的替代表示，并处理替代表示以生成神经网络输出。

这种系统的许多优点中的一些将在后面描述。

神经网络输出可以包括多个分数集，每个分数集包括多个可能输出中的每一个的相应分数。该系统可以根据分数集选择输出，以生成包括多个输出的输出序列。

在一些实施方式中，卷积神经网络层是扩张因果卷积神经网络层。如后面更详细描述的，扩张卷积神经网络层将卷积应用于序列(即，如由来自前一层的输出定义的)中的非相邻值。这可以按数量级增加卷积子网络的接受域(receptive field)，同时保持输入(时间)分辨率并维持计算效率。

在一些实施方式中，卷积神经网络层包括多个堆叠的扩张卷积神经网络层的块。每个块可以包括具有逐渐增加的扩张因子(dilation)的多个扩张卷积神经网络层。例如，对于每个连续层，扩张因子可以增加因子n，直到每个块内的极限。这可以进一步增加接受域的大小。

在一些实施方式中，卷积神经网络层中的一个或多个可以具有门控激活单元(gated activation unit)。例如，由层实施的卷积之后的修正线性(rectified linear)或其他单元可以被门控激活单元代替。在门控激活单元中，输出可以是两个(因果)卷积的组合，即主卷积和门卷积。卷积可以各自被应用于来自前一层的一些或全部相同的输出。该组合可以包括应用于门卷积的非线性激活函数，例如，诸如sigmoid的具有(0，1)范围的激活。然后，这可以乘以来自主卷积的值；非线性激活函数可以但不需要应用于主卷积。这种方法可以帮助捕捉数据中更复杂的结构。

卷积子网络可以包括残差连接(residual connection)，例如从卷积层的输入到将卷积层的输入与该层的中间输出相加的加法器的连接。这有效地允许网络被训练来跳过或部分地跳过层，从而加速收敛并促进更深模型的训练。卷积子网络可以附加地或替代地包括跳跃连接(skip connection)，例如直接从卷积子网络的一个或多个中间层中的每一个到直接生成提供给输出层的替代表示的一个或多个操作。