[发明专利]利用层级式外部存储器的增强神经网络

说明书

公开了用于使用增强型神经网络系统来从输入的序列生成输出的序列的系统、方法、设备和其他技术。一种增强型神经网络系统可包括控制器神经网络、层级式外部存储器和存储器访问子系统。控制器神经网络接收一系列时步的每一者处的神经网络输入，处理神经网络输入以为该时步生成存储键。外部存储器包括被布置为二叉树的一组存储节点。可以扩展神经网络系统考虑到输入序列中的长范围依赖关系的能力。另外，通过将外部存储器构造为二叉树，可以提高存储器访问效率。

技术领域

本说明书涉及神经网络体系结构。

背景技术

神经网络是采用一层或多层非线性单元来为接收到的输入预测输出的机器学习模型。一些神经网络除了输出层以外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即，下一隐藏层或输出层)的输入。网络的每一层根据相应的一组参数的当前值从接收到的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从输入序列生成输出序列的神经网络。特别地，递归神经网络在计算当前时步处的输出时可使用来自先前时步的网络的内部状态中的一些或全部。

发明内容

本说明书描述了用于利用已利用层级式外部存储器增强的控制器神经网络来处理输入序列的系统、方法、设备和其他技术。

本文描述的主题的一些实现方式包括一种用于处理系统输入的序列以生成系统输出的序列的增强型神经网络系统。该系统可包括控制器神经网络、层级式外部存储器和存储器访问子系统。控制器神经网络可以是前馈神经网络或递归神经网络。一般而言，控制器神经网络被配置为接收一系列时步的每一者处的神经网络输入，并且处理神经网络输入以为该时步生成神经网络输出。神经网络输出可包括存储键，并且可选地包括其他数据(例如，系统输出部分)。层级式外部存储器不同于控制器神经网络并且包括被布置为二叉树的一组存储节点。为了提供控制器神经网络与外部存储器之间的接口，该系统包括存储器访问子系统，该存储器访问子系统被配置为对于该一系列时步的每一者，执行一个或多个操作来为该时步生成相应的系统输出。

这些和其他实现方式可以可选地包括以下特征中的一个或多个。

存储器访问子系统被配置为在该一系列时步的每一者处执行的操作可包括遍历二叉树以利用存储键来生成从二叉树中的根存储节点到二叉树中的特定叶存储节点的路径，读取该特定叶存储节点中存储的数据，并且利用存储键更新该特定叶存储节点中存储的数据。

更新特定叶存储节点中存储的数据可包括利用写入神经网络处理该特定叶存储节点中存储的数据和存储键以生成经更新的存储节点数据并且将经更新的存储节点数据写入到该特定叶存储节点。写入神经网络可被配置为处理特定叶存储节点中存储的数据和存储键以生成经更新的存储节点数据。

存储器访问子系统还可被配置为对于该一系列时步的每一者，按反向遍历顺序更新该路径上的除了该特定叶存储节点以外的存储单元中存储的数据。路径上的每个父存储节点中存储的相应数据可通过如下操作来按反向遍历顺序加以更新：利用连接神经网络处理该存储节点的在该路径上的子节点中存储的经更新的数据和不在该路径上的子节点中存储的数据以为该父节点生成经更新的数据。随后可利用存储器访问子系统将每个父节点的经更新的数据写入到该父节点。

存储器访问子系统可被配置为利用存储键来遍历层级式外部存储器的二叉树。存储器访问子系统可被配置为从二叉树的根节点开始遍历二叉树并且确定到特定叶存储节点的路径。在沿着该路径的每个存储节点处，存储器访问子系统可以(i)利用搜索神经网络处理该存储节点中存储的数据和存储键，其中搜索神经网络被配置为处理该存储节点中存储的数据和存储键以生成概率值p；(ii)遵循从该存储节点起的第一分支来以概率p向该路径添加新的子节点；并且(iii)遵循从该存储节点起的第二分支来以概率1–p向该路径添加新的子节点。

存储器访问子系统还可被配置为利用输入的序列或者用来得出输入的序列的系统输入的序列来初始化二叉树的叶存储节点中存储的数据。