[发明专利]使用强化学习利用外部存储器增强神经网络

说明书

用于使用强化学习利用外部存储器增强神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。一种方法包括提供从神经网络输出的系统输出部分取得的输出作为系统输出序列中的一个系统输出；根据该神经网络输出的强化学习部分从存储器访问过程的预定集合中选择用于访问外部存储器的存储器访问过程；使用该神经网络输出的可区分部分依据所选择的存储器访问过程向该外部存储器中的位置写入数据以及从其读取数据；并且将从该外部存储器读取的数据与系统输入序列中的下一个系统输入进行组合以生成神经网络输入序列中的下一个神经网络输入。

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2016年05月04日提交的题为“使用强化学习利用外部存储器增强神经网络(AUGMENTING NEURAL NETWORKS WITH EXTERNAL MEMORYUSING REINFORCEMENT LEARNING)”的美国专利申请No.62/331,904的权益。上述申请的公开内容出于所有目的而通过引用全文结合于此。

背景技术

该说明书涉及神经网络系统架构。

神经网络是采用非线性单元的一个或多个分层来针对所接收输入预测输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，所述下一层即下一个隐藏层或输出层。该网络的每一层依据相应参数集合的当前数值从所接收输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从该输入序列生成输出序列的神经网络。特别地，递归神经网络在计算当前输出时能够使用来自处理先前输入的一些或全部内部网络状态。递归神经网络的一种示例是长短期记忆(LSTM)神经网络，其包括一个或多个LSTM存储器块。每个LSTM存储器块可以包括一个或多个单元，每个单元均包括允许单元存储该单元的先前状态的输入门、遗忘门和输出门，所述先前状态例如用于在生成当前激励时使用或者被提供至LSTM神经网络的其它组件。

发明内容

该说明书描述了涉及增强神经网络系统的技术。

总体上，增强神经网络系统包括被配置为接收神经网络输入并生成神经网络输出的神经网络，存储从该神经网络输出的部分取得的数值的外部存储器，和被配置为接收该神经网络输出的部分并且使用所接收的部分对该外部存储器进行擦除、写入以及从其读取的存储器接口子系统。

更具体地，该存储器接口子系统所接收的该神经网络输出的部分包括强化学习部分和可区分输出部分。该存储器接口子系统使用该强化学习输出部分选择存储器访问过程，并且随后依据所选择的存储器访问过程使用该可区分输出部分来访问该外部存储器。

对于要被配置为执行特定操作或动作的一个或多个计算机的系统而言，意味着该系统已经在其上安装了在操作中使得该系统执行该操作或动作的软件、固件、硬件或者它们的组合。对于要被配置为执行特定操作或动作的一个或多个计算机程序而言，意味着该一个或多个程序包括在被数据处理装置执行时使得该装置实行该操作或动作的指令。

该说明书所描述的主题能够在特定实施例中实施，从而实现以下优势中的一种或多种。通过训练神经网络以针对系统输入序列中的每个输入选择要被执行以访问外部存储器的存储器访问过程，增强神经网络的性能能够得到改善。特别地，通过使用强化学习来允许神经网络生成定义存储器访问过程之间的硬性决策——即，与软的概率性选择相反，增强神经网络的性能能够得到改善。例如，神经网络能够生成定义外部存储器的分区之间的硬性选择的输出，从而允许增强神经网络系统更为有效地与存储在存储器中的数据进行交互。作为另一示例，神经网络可以生成输出，该输出定义基于内容的寻址和基于位置的寻址之间的硬选择，以允许增强神经网络系统更有效地与存储在存储器中的数据交互。

该说明书的主题的一个或多个实施例的细节在以下的附图和描述中给出。该主题的其它特征、方面和优势将由于描述、附图和权利要求而变得清楚明白。

附图说明