[发明专利]记忆增强的生成时间模型

说明书

方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于生成例如图像的预测的观察的序列。在一个方面，一种系统，包括控制器循环神经网络和解码器神经网络，以处理潜变量集合以生成观察。外部存储器和存储器接口子系统被配置为，对于多个时间步中的每一个，从控制器接收更新的隐藏状态，通过使用更新的隐藏状态从外部存储器读取数据来生成存储器上下文向量，从存储器上下文向量确定潜变量集合，通过向解码器神经网络提供潜变量集合生成预测的观察，使用潜变量、更新的隐藏状态或两者将数据写入外部存储器，并且从潜变量生成后续时间步的控制器输入。

技术领域

本说明书涉及生成数据项的神经网络系统。

背景技术

神经网络是机器学习模型，它采用一层或多层非线性单元来预测接收的输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集合的当前值从接收到的输入生成输出。

一些神经网络是循环神经网络。循环神经网络是接收输入序列并从输入序列生成输出序列的神经网络。具体地，循环神经网络可以使用来自先前时间步的网络的一些或全部内部状态来计算当前时间步的输出。循环神经网络的示例是包括一个或多个LSTM存储器块的长短期(long short term，LSTM)神经网络。每个LSTM存储器块可以包括一个或多个单元，每个单元包括输入门、忘记门(forget gate)和输出门，其允许单元存储单元的先前状态，例如，用于生成当前激活或被提供到LSTM神经网络的其他组件。

发明内容

本说明书描述了被实现为在一个或多个位置中的一个或多个计算机上是计算机程序的系统，其生成预测的观察的序列。

这种类型的系统是许多机器学习和控制系统的核心组件。例如，预测的观察可以用在真实或模拟环境中的控制任务中，以预测环境中的计划的动作的结果。可以从源自一个或多个传感器的观察中学习预测；预测的观察可以包括仿佛在以后的时间从传感器生成的数据。更一般地，观察和预测的观察可以包括诸如音频数据、静止或运动图像数据、定义对象的状态或运动的数据、诸如生物标记数据的医学数据、与物理和/或化学过程有关的时空数据等的数据。

因此，根据第一方面，提供了一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现控制器循环神经网络和解码器神经网络。所述控制器循环神经网络被配置为，对于多个时间步中的每一个：接收该时间步的控制器神经网络输入；以及根据当前隐藏状态处理该时间步的控制器神经网络输入，以生成该时间步的更新的隐藏状态。所述解码器神经网络被配置为：接收解码器神经网络输入，所述解码器神经网络输入包括共同定义表征环境的观察的压缩表示的潜变量(latent variable)集合；以及处理包括该潜变量集合的解码器神经网络输入，以生成表征环境的观察。

所述系统还包括外部存储器和存储器接口子系统，该存储器接口子系统被配置为对于每个时间步执行包括以下的操作：接收该时间步的更新的隐藏状态；以及通过使用更新的隐藏状态从外部存储器读取数据来生成存储器上下文向量。所述操作还可以包括：例如，通过使用先验映射从存储器上下文向量映射到潜变量集合，从至少存储器上下文向量确定该时间步的潜变量集合。所述操作还可包括：通过将潜变量集合作为输入提供给解码器神经网络，生成该时间步的预测的观察。所述操作还可包括：使用(例如直接或间接由其确定)潜变量、更新的隐藏状态或两者将数据写入外部存储器。所述操作还可包括：从该时间步的潜变量生成后续时间步的控制器神经网络输入。

如下面更详细描述的，这样的系统可以展现在观察中对于稀疏长期时间依赖性的高效调用。