[发明专利]压缩的递归神经网络模型

说明书

本发明公开了压缩的递归神经网络模型。本发明提供用于利用压缩选通函数来实施长短期记忆层的方法、系统、和装置，包括在计算机存储介质上编码的计算机程序。系统之一包括第一LSTM层，该第一LSTM层具有门，门被配置成针对多个时间步长中的每个时间步长，通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量。门中的至少一个门的门参数矩阵是结构化矩阵或者由压缩的参数矩阵和投影矩阵定义。通过将压缩的LSTM层包括在递归神经网络中，递归神经网络被配置成能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练以实现可比得上全尺寸的(例如，未压缩的)递归神经网络的误字率。

技术领域

本申请涉及压缩的递归神经网络模型。

背景技术

本说明书涉及神经网络架构和压缩的神经网络。

神经网络是采用一个或多个层的非线性单元来针对所接收的输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层(hidden layer)。每个隐藏层的输出用作对网络中的下一层的输入，即，下一隐藏层或者输出层。网络的每一层根据相应的参数集合的当前值来从所接收的输入生成输出。例如针对时间序列问题或者序列到序列学习而设计的那些神经网络(递归神经网络(RNN))的一些神经网络包含递归环路，该递归环路允许存储器以隐藏状态变量的形式保留在数据输入之间的层内。RNN的变型，长短期记忆(LSTM)神经网络，包括用于控制在数据输入之间的数据持久性的每个层内多个门(gate)。一些神经网络(例如，针对时间序列问题或者序列到序列学习而设计的那些神经网络)包含递归环路，该递归环路允许存储器以隐藏状态变量的形式保留在数据输入之间的层内。

发明内容

本说明书描述了涉及递归神经网络架构的技术。一般而言，递归神经网络包括被压缩的至少一个长短期记忆(LSTM)层。LSTM层具有至少一个门，该至少一个门具有压缩的参数矩阵。可以通过用类托普利兹结构化矩阵代替在LSTM层中的门参数矩阵中的一个或多个，或者通过用压缩的参数矩阵和投影矩阵重新定义门参数矩阵，来对LSTM层进行压缩。可选地，可以通过用类托普利兹结构化矩阵代替在LSTM层中的门参数矩阵中的一个来对一个LSTM层进行压缩，并且可以通过用压缩的参数矩阵和投影矩阵，重新定义门参数矩阵，来代替在另一LSTM层中的门参数矩阵中的一个，来对另一LSTM层进行压缩。

对于待配置为执行特定操作或者动作的一个或多个计算机的系统，意味着该系统在其上安装有在运行时使该系统执行该操作或者动作的软件、固件、硬件、或者其组合。对于待配置为执行特定操作或者动作的一个或多个计算机程序，意味着该一个或多个程序包括指令，该指令在由数据处理装置执行时使该装置执行该操作或者动作。

可以将本说明书中描述的主题实现为具体实施例，从而实现以下优点中的一个或多个。可以通过将压缩的LSTM层包括在递归神经网络中来提高递归神经网络的性能。具体地，通过将压缩的LSTM层包括在递归神经网络中，递归神经网络被配置为能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练为实现可比得上全尺寸的(例如，未压缩的)递归神经网络的误字率。

在附图和以下描述中陈述了本说明书中描述的主题的一个或多个实施例的细节。本主题的其它特征、方面和优点通过说明书、附图和权利要求书将变得显而易见。

附图说明

图1示出了示例神经网络系统。

图2A和图2B示出了示例性结构化矩阵。

图3是用于对当前层输入进行处理以生成下一层输出的示例性过程的流程图。

图4是用于将门应用于门输入矢量以生成门输出矢量的示例性过程的流程图。

图5是用于对包括饱和LSTM层的递归神经网络进行训练的示例性过程的流程图。