[发明专利]使用强化学习利用外部存储器增强神经网络

权利要求书

1.一种用于使用外部存储器处理神经网络输入的增强神经网络系统，所述增强神经网络系统用于处理系统输入的序列以生成系统输出的序列，所述增强神经网络系统包括神经网络、在所述神经网络外部的外部存储器以及存储器接口子系统，其中：

所述神经网络被配置为接收神经网络输入的序列并且处理每个神经网络输入以从所述神经网络输入生成神经网络输出，所述神经网络输出包括以下各部分的连结：

系统输出部分，所述系统输出部分用于生成与所述神经网络输入相对应的在所述系统输出的序列中的系统输出，

强化学习部分，所述强化学习部分用于进行对多个存储器访问过程中的用于访问所述外部存储器的一个存储器访问过程的硬选择，其中，进行所述硬选择包括从所述外部存储器的多个分区中进行对要访问的分区的硬选择，其中，所选择的分区包括所述外部存储器中的多个存储器位置，和

可区分部分，所述可区分部分定义对所述外部存储器的所选择的分区中的多个位置的写入的内容，其中，所述强化学习部分、所述可区分部分和所述系统输出部分是所述神经网络输出的不同部分；以及

所述存储器接口子系统被配置为执行操作，所述操作包括针对每个神经网络输出：

提供从所述神经网络输出的所述系统输出部分取得的输出作为所述系统输出的序列中的所述系统输出；

根据所述神经网络输出的所述强化学习部分从存储器访问过程的预定集合中选择用于访问所述外部存储器的所述存储器访问过程，其中，对所述存储器访问过程的所述选择是不可区分操作，所述不可区分操作包括：

基于所述神经网络输出的所述强化学习部分的、对所述外部存储器的分区中的一个分区的所述硬选择，并且其中，所述神经网络已被训练以通过强化学习生成用于来选择存储器访问过程的神经网络输出；

使用所述神经网络输出的所述可区分部分仅向所述外部存储器的所选择的分区中的所述位置写入数据以及仅从所述外部存储器的所选择的分区中的所述位置读取数据；以及

将从所述外部存储器读取的数据与所述系统输入的序列中的下一个系统输入进行组合以生成所述神经网络输入的序列中的下一个神经网络输入。

2.根据权利要求1所述的增强神经网络系统，其中，所述操作进一步包括，针对每个所述神经网络输出：

使用所述神经网络输出的所述可区分部分依据所选择的存储器访问过程从所述外部存储器中的位置擦除数据。

3.根据权利要求1所述的增强神经网络系统，其中使用所述神经网络输出的所述可区分部分仅向所述外部存储器的所选择的分区中的所述位置写入数据以及仅从所述位置读取数据包括：

根据所述神经网络输出的所述可区分部分针对所述外部存储器的所选择的分区中的每个位置确定相应的写入权重；

依据所述写入权重向所述外部存储器的所选择的分区中的多个位置中的每一个写入由所述神经网络输出的所述可区分部分所定义的数据；

根据所述神经网络输出的所述可区分部分针对所述外部存储器的所选择的分区中的每个位置确定相应的读取权重；以及

依据所述读取权重从所述外部存储器的所选择的分区中的所述多个位置中的每一个读取数据。

4.根据权利要求1所述的增强神经网络系统，其中选择存储器访问过程进一步包括选择基于内容的访问或基于位置的访问。

5.根据权利要求4所述的增强神经网络系统，其中，当所选择的存储器访问过程是基于内容的访问时，向所述外部存储器的所选择的分区中的所述位置写入数据以及从所述外部存储器的所选择的分区中的所述位置读取数据包括：

根据所述神经网络输出的所述可区分部分针对所述外部存储器的所选择的部分中的所述多个位置中的每一个确定相应的基于内容的写入权重；

依据所述基于内容的写入权重向所述多个位置中的每一个写入所述神经网络输出的所述可区分部分所定义的数据；

根据所述神经网络输出的所述可区分部分针对所述多个位置中的每一个确定相应的基于内容的读取权重；以及

依据所述基于内容的读取权重从所述多个位置中的每一个读取数据。