[发明专利]神经网络编程器

权利要求书

1.一种用于通过使用来自数据源的数据来重复地执行来自操作集的操作而从系统输入生成系统输出的神经网络系统，其中所述系统输入是自然语言查询并且所述系统输出是基于来自所述数据源的数据来生成的对所述自然语言查询的响应，所述神经网络系统包括：

控制器神经网络，所述控制器神经网络包括：

循环神经网络，所述神经网络被配置成：针对多个时间步中的每个时间步，接收该时间步的控制器输入并且处理该控制器输入以更新所述循环神经网络的当前隐藏状态，

一个或多个操作神经网络层，所述一个或多个操作神经网络层被配置成：针对所述多个时间步中的每个时间步，依据所述一个或多个操作神经网络层的当前参数值来处理所述循环神经网络的相应的更新的隐藏状态以及所述自然语言查询的相应的表示，以生成向所述操作集中的每个操作指派相应的操作分值的操作分值分布，以及

一个或多个数据神经网络层，所述一个或多个数据神经网络层被配置成：针对所述多个时间步中的每个时间步，依据所述一个或多个数据神经网络层的当前参数值来处理所述循环神经网络的相应的更新的隐藏状态以及所述自然语言查询的相应的表示，以生成向所述数据源中的多个位置中的每一个指派相应的数据分值的数据分值分布；以及

操作子系统，所述操作子系统被配置成针对所述多个时间步中的每个时间步：

执行来自所述操作集的操作以生成多个操作输出，其中，所述操作中的至少一个是对所述数据源中的所述多个位置中的数据执行的，

依据相应的操作分值分布和相应的数据分值分布来组合所述操作输出以生成该时间步的时间步输出，以及

通过级联以下二者来生成下一时间步的下一控制器输入：(i)

依据相应的操作分值分布的、表示所述操作集中的操作的向量的加权和，以及(ii)依据相应的数据分值分布的、表示所述数据源中的所述多个位置的向量的加权和。

2.根据权利要求1所述的神经网络系统，其中，所述操作子系统进一步被配置成针对所述多个时间步中的每个时间步：

存储该时间步的时间步输出以用于在任何之后的时间步中使用。

3.根据权利要求1所述的神经网络系统，其中，所述多个时间步中的第一时间步的控制器输入是预定的初始输入。

4.根据权利要求1至3中的任一项所述的神经网络系统，其中，所述系统输入是输入的序列，并且其中，所述神经网络系统进一步包括：

编码循环神经网络，所述编码循环神经网络被配置成处理所述输入的序列中的每个输入以生成该输入的表示。

5.根据权利要求4所述的神经网络系统，其中，所述自然语言查询与所述数据源中的数据有关，并且其中，所述系统输出是对所述自然语言查询的所述响应的估计。

6.根据权利要求1至3中的任一项所述的神经网络系统，其中，所述操作中的一个或多个操作将指向所述数据源中的位置的子集的掩码变量的值作为输入，并且其中，所述操作子系统被配置成针对所述多个时间步中的每个时间步：

通过依据所述操作分值分布组合所述操作输出来确定所述掩码变量的当前值。

7.根据权利要求1所述的神经网络系统，其中，该时间步的时间步输出包括标量输出或查找输出中的至少一个。