[发明专利]增强具有外部存储器的神经网络

说明书

公开了增强具有外部存储器的神经网络。方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于利用外部存储器增强神经网络。方法之一包括：提供从神经网络输出的第一部分导出的输出作为系统输出；确定外部存储器中的多个位置中的每一个的一个或多个写入权重集合；根据写入权重集合将由神经网络输出的第三部分定义的数据写入外部存储器；从神经网络输出的第四部分确定外部存储器中的多个位置中的每一个的一个或多个读取权重集合；根据读取权重集合从外部存储器读取数据；以及，将从外部存储器读取的数据与下一个系统输入组合以产生下一个神经网络输入。

本申请是分案申请，原案的申请号是201580033184.4，申请日是2015年10月15日，发明名称是“增强具有外部存储器的神经网络”。

技术领域

本说明书涉及神经网络系统架构。

背景技术

神经网络是采用一个或多个非线性单元的层来预测对于接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出用作到网络中下一层，即下一隐藏层或输出层的输入。网络的每层根据相应参数集合的当前值从所接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。具体地，递归神经网络可以在计算当前输出时使用处理先前输入的网络的内部状态的一些或全部。递归神经网络的示例是长期短期存储器(LSTM)神经网络，包括一个或多个LSTM存储器块。每个LSTM存储器块可以包括一个或多个单体，每个单体包括输入门、遗忘门和输出门，其允许该单体存储该单体的先前状态，例如用于生成当前激活或将被提供到LSTM神经网络的其他组件。

发明内容

本说明书描述了与增强神经网络系统相关的技术。通常，增强神经网络系统包括：神经网络，被配置为接收神经网络输入并生成神经网络输出；外部存储器，存储从神经网络输出的部分导出的值；以及存储器接口子系统，被配置为接收神经网络输出的部分并使用所接收的部分相对于外部存储器擦除、写入和读取。

对于要被配置为执行特定操作或动作的一个或多个计算机的系统表示系统已经在其上安装了在操作中使系统执行操作或动作的软件、固件、硬件或它们的组合。对于要被配置为执行特定操作或动作的一个或多个计算机程序表示一个或多个程序包括当由数据处理装置执行时使装置执行操作或动作的指令。

在本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。通过用外部存储器增强神经网络，增强神经网络可以更精确地从各种机器学习任务的接收的输入生成输出。具体地，为了便于处理来自输入序列的给定输入，增强神经网络可以有效地使用由增强神经网络在处理序列中的许多先前输入时通过从外部存储器读取而产生的信息。类似地，为了便于处理来自序列的后续输入，增强神经网络可以将在当前输入的处理期间生成的信息存储在外部存储器中。另外，可以增加外部存储器的大小，而不增加增强神经网络的可训练参数的数量。此外，增强神经网络可以使用基于内容和位置的查找来访问外部存储器。另外，增强神经网络可以利用在连续写入之间具有较少干扰的长期存储器存储。此外，因为整个外部存储器是可区分的，所以可以有效地训练增强神经网络系统。

在附图和下面的描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出了示例增强神经网络系统。

图2是用于从系统输入生成系统输出的示例过程的流程图。

图3是用于从神经网络输出的指定部分确定存储器存取权重的示例过程的流程图。

图4是对于外部存储器中的位置生成基于内容的权重的示例过程的流程图。

图5是用于将基于位置的调整应用于基于内容的权重的示例过程的流程图。